Baldwin FitzGilberti gaztelua eraikitzeko baimena eman zioten. Hiriko ipar-mendebaldeko eta ipar-ekialdeko harresien artean lubaki sakona eta barruko harresia eraiki ziren, gutxi gorabehera karratuko hesia osatuz. 1086ko "Domesday Book" liburuak jakinarazi zuen Exeterren 48 etxe suntsitu zirela erregea Ingalaterrara etorri zenetik. Historialariek hau interpretatu dute, hau da, hainbeste etxe gaztelua eraikitzeko lekuan zeudela. Harrizko ate-etxe handi bat, gaur egun ere irauten duena, ingurunearen hegoaldean zegoen ertzean eraiki zuten. Argi eta garbi,
Arkitektura anglosaxoiarra, hala nola quoins luzeak eta laburrak eta triangelu bikoitzeko leihoak, Normandiarrek aginduta ingeles igeltseroek oso goiz eraiki zutela iradokitzen dute. Hasierako fase honetan, seguruenik, harresia enpaketa batek gainditu zuen, nahiz eta bi txoko dorre eraiki ziren laster, bankuak hiriko harresiekin topo egin zuen lekuan, eta horietako mendebaldekoa (gaizki "Athelstango Dorre" bezala ezagutzen dena) oraindik ere hor dago.