Toukokuussa 1814 Ruffo palasi Roomaan, jossa väestö ja kardinaalien kollegio ottivat hänet vastaan välinpitämättömästi, joten hän päätti siirtyä kohti Napolista ja perustaa siellä. 8. helmikuuta 1815 paavi Pius VII kutsui Ruffon takaisin Roomaan ja nimitti hänet Annonan ja Grascian prefektiksi, eli vastuulliseksi lihan, rasvan ja öljyn hankkimisesta. 8. toukokuuta 2017 hänestä tuli Maltan ritarikunnan suurpriori paavillisessa valtiossa. 29. maaliskuuta 1819 - 21. helmikuuta 1820 hän oli pyhän roomalaisen kirkon kamerlengo, kunnes hänet nimitettiin Prefektiksi Kongregaatio Vesi, Pontine Marshes ja Chiani. Maaliskuussa 1821 hän palasi Napoliin, joka oli kärsinyt kansan kapinoinnista itävaltalaisia sotilasjoukkoja vastaan. 27. kesäkuuta hän valitsi Via Latan Santa Marian diakonian ja piti kardinaaliprotodiakonin arvonimen. Elokuussa 1823 Ruffo osallistui paavin konklaaviin
joka valitsi paavi Leo XII:n. Vuoden lopussa Ruffo palasi Napoliin.