Naast het huis Groot Poelgeest, stond een ander klein kasteeltje, Klein Poelgeest genaamd, eveneens eigendom van het geslacht Teylingen van Tol. Het was zelfs veel ouder dan het voorbeschreven Huys Groot Poelgeest. Het werd sinds in “den Jaere onzes Heere 1150 door eenen Gerrit van Poelgeest bezeeten.”