O Palácio conserva o seu exterior e a sua fisionomia seiscentista, no entanto o interior encontra-se profundamente remodelado ao gosto rococó.
A fachada principal segue o traçado da rua e é constituída por rés-do-chão, andar nobre e 2º andar. Em frente ao palácio, mas separada pela rua de O Século, encontra-se uma rotunda onde as carruagens manobravam antes de entrar no palácio e o enorme chafariz da autoria de Carlos Mardel.
No sector norte do palácio encontram-se dois portões que abriam para um pátio onde circulavam as carruagens e que comunicava com a escadaria nobre. Sobre a janela de sacada desta entrada encontram-se as armas dos Carvalho e Melo (estrela de oito pontas dentro de quatro crescentes).