Almeida Garrett também é conhecida como um sedutor, sua primeira esposa foi Luisa Midosi. Depois viveu em Mancebia com D. Adelaide Pastor até 1841, ano da sua morte.
A partir de 1846, foi inspirado pela Viscondessa da Luz, Rosa Montufar Infante, casada com um oficial do exército português.
Em 25 de Junho de 1851, João Baptista da Silva Leitão de Almeida Garrett recebeu o título de visconde do Rei D. Pedro V de Portugal. Este título foi então renovado duas vezes.
Em 1852, Almeida Garrett voltou à vida política, assumindo a pasta das Relações Exteriores em um governo presidido pelo Duque de Saldanha, cargo que ocupou por apenas alguns dias.