Whittlesea perustettiin vuonna 1849 sotilaallisena etuvartioasemana suojellakseen valkoisia uudisasukkaita
Rajasodan 1850 <unk> 1853. Kaupunki nimettiin Whittlesean mukaan Cambridgeshiressä, Sir Harry Smithin (1787-1860) syntymäpaikassa, joka oli Kapin siirtokunnan kuvernööri vuosina 1847-1852. Brittiläinen upseeri linnoitti viisi taloa Mlanjenin sodan (1850-1853) aikana, kun Xhosat piirittivät siirtokuntaa. Yksi näistä, joka on nyt osa postitoimistoa, on yhä pystyssä. Vuosina 1948-1994 Etelä-Afrikan apartheid-hallinnon huipulla Whittlesea kuului entiseen Ciskeiin, bantustanille / kotimaahan, joka perustettiin vuonna 1961 vuoden 1959 itsehallinnon edistämistä koskevan lain nojalla. Ennen vuotta 1994 Whittleseassa ei ollut virallista poliittista järjestöä. Sisäasiainministeriö helpotti maakuntien hallintojohtajien kautta maakuntien maankäyttöä, palveluita ja hintoja koskevia päätöksiä. Etelä-Afrikan ensimmäisten demokraattisten vaalien jälkeen Whittleseaa hallitsi neuvosto. Nykyään kaupunki kuuluu Enoch Mgijiman paikallishallintoon, joka kattaa alueet kuten Tarkastad ja Queenstown.