Gazteluaren eraikuntza Baldwin FitzGilberti utzi zioten, gaztelu-buru izendatu zutenean, gainerako ohoreen artean. Hiriko ipar-mendebaldeko eta ipar-ekialdeko harresien artean lubaki sakona eta barruko harresia eraiki ziren, gutxi gorabehera karratuko hesia osatuz. 1086ko "Domesday Book" liburuak jakinarazi zuen Exeterren 48 etxe suntsitu zirela erregea Ingalaterrara etorri zenetik. Historialariek hau interpretatu dute, hau da, hainbeste etxe gaztelua eraikitzeko lekuan zeudela. Harrizko ate-etxe handi bat, gaur egun ere irauten duena, ingurunearen hegoaldean zegoen ertzean eraiki zuten. Arkitektura anglosaxoiaren elementuak ditu.
, hala nola, quoins luze eta laburrak eta triangelu bikoitz buruzko leihoak, Normandiarrek aginduta oso goiz eraiki zutela adierazten dutenak. Hasierako fase honetan, seguruenik, harresia enpaketa batek gainditu zuen, nahiz eta bi kanpoko dorre eraiki ziren laster, bankuak hiriko harresiekin topo egin zuen lekuan, eta horietako mendebaldekoa (gaizki "Athelstango Dorre" bezala ezagutzen dena) oraindik ere hor dago.