Пасля смерці Мікеланджэла ў 1564 годзе палац будуецца пад кіраўніцтвам архітэктараў Джакама дэла Порта і Джыралама Райнальдзі паміж 1573 і 1605 гадамі з малаважнымі зменамі ў параўнанні з праектам Мікеланджэла.