Escriu una continuació per a aquest paràgraf - La construcció del castell va ser deixada a Baldwin FitzGilbert que va ser nomenat castellà, entre altres honors. Es va construir un profund fossal i un murall intern entre les muralles nord-occidentals i nord-orientals de la ciutat, formant un recinte aproximadament quadrat amb costats d'aproximadament. El "Domesday Book" de 1086 va informar que 48 cases havien estat destruïdes a Exeter des que el rei va venir a Anglaterra - això ha estat interpretat pels historiadors com a significar que aquesta quantitat de cases estaven en el lloc deslligat per al castell. Una gran porta de pedra, que encara sobreviu, va ser construïda en el banc al costat sud del recinte. Té elements clars d'arquitectura anglosaxona.
, com els quoins llargs i curts i les finestres de doble cap triangular, suggerint que va ser construït molt aviat pels maçons anglesos per ordres dels normands. En aquesta etapa inicial, el baluard probablement estava superat per una empacada, tot i que aviat es van construir dues torres d'esquina on el banc es trobava amb les muralles de la ciutat, la occidental de les quals (coneguda erròniament com a "Torre d'Athelstan") encara està present.