Para o investigador Alberto Pereira de Castro, a Casa do Poço é um dos edifícios mais antigos da zona intramuros da Vila.
Este conjunto religioso começou como um simples eremitério com uma capela que guardava a Nossa Senhora e era protegido pelos eremitas que ali se tinham fixado.