Mas em 1673, Vaux é devolvido para Madame Fouquet. Até que, em 1705, é comprado por Hector de Villars, um marechal do exército de Louis XIV e do futuro Louis XV, que havia se tornado duque naquele ano.
A propriedade, que agora se chama Vaux-Villars, volta aos tempos de glória, sendo mobiliada de novo e tendo os jardins recuperados. O Marechal e sua esposa fazem dele um lugar de encontro com amigos ilustres, como Voltaire. O novo proprietário tem, inclusive, autorização especial do rei para ter um pelotão particular na propriedade, onde coloca também os canhões que tomou dos inimigos.
Mas Villars morre em 1734 e seu filho não se interessa por Vaux. Ele cede a propriedade, em 1764, para Cesar Gabriel de Choiseul, duque de Praslin e Ministro de Louis XV. O nobre faz modificações no primeiro andar, para dar o conforto exigido pelos novos tempos, e instala uma biblioteca no térreo. O château muda de novo de nome, desta vez para Vaux-Praslin.
Durante a Revolução Francesa, por pouco o castelo não é demolido. Em 1793, a ordem de evacuação é dada para a demolição. Mas a então duquesa de Praslin pede um tempo maior para poder retirar as pinturas e painéis de Le Brun e poder doá-los à Nação. No final, o governo decide pela conservação de Vaux.
Mas, no século XIX, os tempos são difíceis e o castelo sofre. Os jardins praticamente desaparecem e uma parte deles é alugada para agricultores. Até que o quinto duque de Praslin, Théobald, ao se tornar mais rico ainda pelo casamento com Fanny Sébastiani, filha de um general, faz um projeto para devolver a Vaux o esplendor de antes. Só que em 1847, em um ataque de loucura, ele mata a esposa e se suicida.
Novamente o castelo cai no esquecimento. Mas tudo vai mudar em 1875, quando Gaston de Choiseul, o herdeiro, decide leiloar a propriedade. Um único comprador aparece: Alfred Sommier, um rico industrial e amante das artes, que, durante uma visita, se apaixona pelo castelo. É o começo do renascimento de Vaux-le-Vicomte. Aliás, uma das suas primeiras medidas é devolver o nome original ao lugar.