O Palácio localiza-se na zona oriental do Parque da Pena, que é necessário percorrer para se chegar à íngreme rampa que o Barão de Eschwege construiu para se aceder à edificação acastelada. O Palácio propriamente dito é constituído por duas alas: o antigo convento manuelino da Ordem de São Jerónimo e a ala edificada no século XIX por D. Fernando II. Estas alas estão rodeadas por uma terceira estrutura arquitetónica, em que se fantasia um imaginário castelo de caminhos de ronda com merlões e ameias, torres de vigia, um túnel de acesso e até uma ponte levadiça.