Vào năm 1311, Robert nhận được giấy phép crenellate từ Edward II để củng cố ngôi nhà biệt thự, và tòa nhà trước đó khiêm tốn hơn đã được chuyển đổi thành một lâu đài giữa năm 1311 và 1322. Truyền thống địa phương nói rằng đá được lấy từ một mỏ đá trên trang web của những gì bây giờ là Melbourne Pool. Các hồ sơ cho thấy £ 1,313 đã được chi cho dự án vào năm 1313-14 năm, trong đó £ 548 đã được trả cho thợ xây để trang trí đá. Một số thợ xây làm việc trên dự án đã tham gia vào một cuộc tranh chấp tại Ravenstone vào năm 1315. Các tòa nhà thời trung cổ quan trọng ở Melbourne được xây dựng từ đá nền địa phương, Millstone Grit. Đây là một coarsely grained có thể được làm việc để sản xuất ashlar chất lượng tốt.
đá địa phương, Millstone Grit