Fort Beaufortin juuret ovat lähetysasema, jonka pastori Joseph Williams Lontoon lähetysseuraan perusti vuonna 1816. Vuonna 1822 kuninkaallisen Warwickshiren rykmentin eversti Maurice Scott rakensi tukikohdan noin kolmen mailin päähän lähetysasemalta sotilaallisena raja-asemana ja linnoituksena heidän päällikönsä Maqoman johdolla Xhosan hyökkäyksiä vastaan. Britit nimesivät sen Fort Beaufortiksi Beaufortin herttuan, lordi Charles Henry Somersetin isän, Kapin siirtokunnan ensimmäisen brittiläisen kuvernöörin (1814-1826) kunniaksi. Kuudennen Xhosan sodan jälkeen
1834-1835), kuvernööri Sir Benjamin d'Urban valtuutti linnoituksen rakentamisen alkuperäisen tukikohdan paikalle. Uusissa rakennuksissa oli sotilassairaala, vartijataloja, jalkaväen kasarmeja ja upseerien asuntoja.