1814ko maiatzean, Ruffo Erromara itzuli zen, non biztanleek eta Kardinaletako Kolegioak indiferentziaz hartu zuten, eta Napoles aldera joatea eta bertan finkatzea erabaki zuen. 1815eko otsailaren 8an, Pius VII.a aita santuak Ruffo Erromatik deitu zuen eta Annona eta Grasciako prefektu izendatu zuen, haragia, koipea eta olioa eskuratzearen arduraduna. 2017ko maiatzaren 8an, Maltako Ordenako Priore Nagusia bihurtu zen Aita Santuaren Estatuan. 1819ko martxoaren 29tik 1820ko otsailaren 21era, Erromatar Eliza Santuaren Camerlengoa izan zen, uretarako, Pontinoko paduretarako eta Chianiko Kongregazioko prefektu izendatu arte. 1821eko martxoan, Napolesera itzuli zen, Austriako indar militarren aurkako herri matxinadaren eraginpean zegoena. Ekainaren 27an, Via Lata-ko Santa Mariako diakonia aukeratu zuen eta Protodiacon kardinalaren titulua izan zuen. 1823ko abuztuan, Rufok parte hartu zuen Aita Santuaren konklabean
León XII.a Aita Santua hautatu zuen. Urte amaieran, Ruffo Napolesera itzuli zen.