D. Tomás de Almeida, primer cardenal patriarca de Lisboa, va adquirir el terreny del seu germà, el 3r comte d'Avintes, arrasant els edificis existents i construint un somptuós palau del segle XVIII, que després va presentar al seu nebot, D. António de Almeida Soares de Portugal, 4t comte d'Avintes i més tard 8t virrei de Brasil i 1r marquès de Lavradio. El palau va ser construït per l'arquitecte alemany João Frederico Ludovice, amb la construcció començant el 1745. La seva arquitectura és única perquè el seu punt focal és una escala central i rigorosament simètrica, des de la qual s'estén la resta de l'edifici. És un dels pocs exemples d'arquitectura barroca cívica durant el període joanin de Portugal. Malgrat l'escala del terratrèmol
El palau Lavradio va quedar pràcticament intacte després de la tempesta de Lisboa de 1755, que va destruir gran part de la ciutat.