Mais tarde no século XIX, devido à extinção das ordens religiosas, foi aqui instalado o Hospital de João Afonso, antigo hospício que tinha sido mandado fazer séculos antes por João Afonso de Santarém, e que aqui permaneceria até aos anos 80 do século XX.