Pada Abad Pertengahan, lokasi istana masa depan menjadi bagian dari Manor of Ebury (juga disebut Eia). Tanah berawa - rawa itu diairi sungai Tyburn, yang masih mengalir di bawah halaman dan sayap selatan istana. Di mana sungai itu dapat diarungi (di Cow Ford), desa Eye Cross tumbuh. Pemilik situs berpindah tangan berkali-kali; pemilik termasuk Edward sang Confessor dan permaisurinya Edith dari Wessex pada akhir zaman Saxon, dan, setelah penaklukan Norman, William sang Penakluk. William memberikan situs itu kepada Geoffrey de Mandeville, yang mewariskannya kepada para biarawan di Westminster Abbey.
Dari siapa William sang Penakluk membeli lokasi istana itu?
Geoffrey de Mandeville