Viết tiếp cho đoạn này - Một vị trí súng đã được xây dựng vào năm 1801 trên Middle Head (phía bắc vịnh Obelisk) trong các cuộc chiến tranh Napoleon, cũng như một người khác tại Georges Head. Pháo đài Phillip cũng được xây dựng để bảo vệ khỏi một cuộc xâm lược Pháp tiềm năng vào năm 1804, cũng như sau cuộc nổi dậy tù nhân Castle Hill
cùng một năm. Các pháo đài lâu dài hơn được xây dựng trong nửa đầu thế kỷ 19 để đáp ứng các cuộc tấn công nước ngoài đáng sợ với các mối đe dọa mới đối với đế chế Anh, bao gồm quân đội Pháp của Napoleon vào năm 1810 và Hạm đội Thái Bình Dương của Nga vào những năm 1850 (trong Chiến tranh Crimea). Trong khi đó, hai tàu chiến Mỹ (sloop chiến tranh "Peacock" và sloop chiến tranh "Vincennes") đã vào cảng không báo trước vào ngày 30 tháng 11 năm 1839, dưới sự che chở của bóng tối. Mặc dù chỉ là một chuyến viếng thăm lịch sự, sự kiện này đã chứng minh sự dễ bị tổn thương của khu định cư để tấn công và làm nổi bật nhận thức về sự cô lập và sự giàu có của nó. Đảo Garden có các pháo đài được xây dựng vào những năm 1820, trong khi Bradleys Head bắt đầu xây dựng vào năm 1840. Việc xây dựng Pháo đài Denison bắt đầu vào năm 1841, mặc dù pháo đài không được hoàn thành cho đến năm 1857.