Tombado pelo Iphan desde 1938, o imóvel é uma das construções que evocam a arquitetura singular do período colonial na cidade. Trata-se de uma das poucas edificações remanescentes da arquitetura civil urbana do período. Além de tombado pela instância federal, o imóvel faz parte da Área de Proteção do Ambiente Cultural (APAC) da Cruz Vermelha, sob a tutela municipal.
Sua primeira referência remonta ao terceiro quartel do século XVIII, como um conjunto de edificações térreas. O prédio pertenceu ao Visconde de São Lourenço, conselheiro de Dom João VI, que, entre 1818 e 1819 realizou expressivas modificações em sua volumetria e compartimentação, segundo as inscrições nos livros da Décima Urbana. Após a morte do proprietário, foi utilizado como colégio e casa de cômodos, tendo sido atingido por um incêndio na década de 1990.
Há mais de uma década seu terreno é usado como estacionamento e há cerca de dois anos, foi adquirido por uma empresa que explora estacionamentos na área central da cidade. Os proprietários anteriores, herdeiros do edifício tombado, apesar de serem alvo de ações do Ministério Público para restaurá-lo, não escondiam que a falta de zelo para com o imóvel era motivada pelo interesse em deixar a construção ruir para oferecer o terreno ao mercado imobiliário.
Na quarta-feira, 16 de fevereiro, o Fórum de Entidades em Defesa do Patrimônio Cultural Brasileiro e o CAU/RJ publicaram uma nota de repúdio aos processos irregulares de destombamento e demolição de bens em território nacional, o que inclui o Solar Visconde de São Lourenço.