Viết tiếp cho đoạn này - Thống đốc John Hunter ra lệnh xây dựng một pháo đài và Pháo đài Phillip được ủy quyền vào năm 1804 bởi Thống đốc New South Wales thứ ba (trong văn phòng 1800 <unk> 1806), Philip Gidley King, một phần là phản ứng với các mối đe dọa bên ngoài như một cuộc tấn công của Pháp có thể xảy ra vào năm 1803 và một phần là do những bất ổn nội bộ từ các tù nhân nổi loạn phản ánh trong cuộc nổi loạn tù nhân lớn duy nhất của Úc
tại Castle Hill vào tháng 3 năm 1804. Đây được gọi là Trận chiến Vinegar Hill vì hầu hết các tù nhân nổi dậy là người Ireland. Windmill Hill (sau này là Observatory Hill) được chọn làm địa điểm pháo đài vì nó là điểm cao nhất trên thuộc địa, cung cấp tầm nhìn tuyệt đẹp về các lối tiếp cận cảng từ phía đông và phía tây, sông và đường đến Parramatta, vùng đất xung quanh và toàn bộ thị trấn bên dưới. Pháo đài chưa bao giờ được hoàn thành hoàn toàn và chưa bao giờ bắn một phát súng trong cơn giận.