1804年,紐南威爾斯第三任州長 (在1800年至1806年任期),菲利普·吉德利·金 (Philip Gidley King) 命令建造一座堡垒,部分原因係為應對外界威脅,例如1803年可能發生嘅法國襲擊,部分原因係因為反叛犯嘅內部動亂,反映喺澳洲唯一嘅主要犯人叛亂
喺 1804 年 3 月嘅城堡山 呢場被稱為"<unk>山之戰" 因為呢度大部份嘅叛亂犯係愛爾蘭人 風車山 (後來叫做天文台山) 被選為要塞嘅位置,因為佢係殖民地上面嘅最高點,可以從東同西睇到港口,河同巴拉瑪塔嘅路,周圍嘅國家同下邊嘅整個城鎮. 堡垒从来没有完全完工,从来没有发射过一枪.