Depois do falecimento prematuro de Herwarthel, ocorrido no dia 5 de Novembro de 1720, Johann Clemens Froimon, então ao serviço do Bispo de Speyer, foi nomeado mestre construtor do palácio. Froimon teve persistentes confrontos com o Eleitor, o que resultou no seu despedimento em 1726. De Froimon ainda é, basicamente, o desenho da fachada do edifício principal, a execução dos telhados e o desenho da igreja palaciana como uma construção independente. Froimon também deve ter previsto que as duas alas laterais inicialmente planeadas, executadas em vez dos planos originais de três alas, se oporiam a melhores casas de cidade, inserindo uma maior harmonia em todo o conjunto.
Desde a colocação da primeira pedra à conclusão do primeiro edifício passaram vários anos, pelo que o Eleitor Carl Philipp mudou a sua residência de Inverno para a Casa no quarteirão R 1, 1. De qualquer forma, o Verão era passado no Schloss Schwetzingen, a sua residência estival. A nova construção esteve ameaçada várias vezes, uma vez que os os recursos financeiros previstos foram amplamente ultrapassados. De facto, em 1721 a construção do palácio foi fixada em 75.000 florins anuais e o Eleitor permitiu a sua inexorável colecta, embora esta nunca pudesse cobrir a elevada despesa.
Em 1725 foi publicada a primeira visão do conjunto do palácio por Froimon. Este desenho ricamente ornamentado nunca foi alcançado, quer por dificuldades financeiras quer por motivos arquitectónicos. Também foi eliminada a balaustrada que coroaria todo o edifício, limitando-se esta aos pavilhões e ao Edifício do Meio.
O frontispício da igreja palaciana apresenta motivos do barroco italiano. O frontão triangular sobre o portal contém figuras em relevo executas pelo escultor da corte palatina Paul Egell, o qual criou, ainda, outras decorações em relevo no interior do palácio. O retábulo, com o tema da Visitação de Maria, foi pintado em 1729 por Paul Goudreau. Sob a igreja palaciana existe uma cripta.