Nel Medioevo, il sito del futuro palazzo faceva parte del maniero di Ebury (chiamato anche Eia). Il terreno paludoso era bagnato dal fiume Tyburn, che scorre ancora sotto il cortile e l' ala sud del palazzo. Dove il fiume era fordable (a Cow Ford), il villaggio di Eye Cross crebbe. La proprietà del sito cambiò di mano molte volte; i proprietari comprendevano Edward il confessore e la sua consorte regina Edith di Wessex negli ultimi tempi sassoni e, dopo la conquista normanna, Guglielmo il conquistatore. William diede il sito a Geoffrey de Mandeville, che lo lasciò in eredità ai monaci dell' Abbazia di Westminster.
Chi ha dato il sito ai monaci di Westminster?
Geoffrey de Mandeville