Dopo una brillante carriera al Collège de Juilly, entrò nel "Corps des Ponts et Chaussées" nel 1792, e divenne "chef de brigade" dell'École Polytechnique alla sua fondazione nel 1794. Qui, sotto l'istruzione di Prony, Lagrange e Monge, studiò matematica superiore, ma senza trascurare la letteratura, e con l'assistenza di Fontanes tradusse gran parte dell' "Eneide". Delle sue poesie è sopravvissuta solo la seguente riga:Le temps n'épargne pas ce qu'on a fait sans lui. Sebbene dimenticato come matematico e poeta, Fayolle ha acquisito una solida reputazione per i suoi servizi alla letteratura musicale. Studiò armonia con Perne e violoncello con Barni, ma si astenne dalla stampa delle sue composizioni; e si accontentò di pubblicare "Les quatre Saisons du Parnasse" (Parigi, 1805<unk>9), una raccolta letteraria in sedici volumi, 12mo, per la quale scrisse molti articoli sulla musica e i musicisti. Ha anche fornito la maggior parte delle note biografiche nel "Dictionnaire historique des Musiciens", pubblicato sotto i nomi di Choron e di se stesso (due vol. Parigi, 1810<unk>11), un'opera a cui Fétis è molto debitore. Nel 1813 pubblicò "Sur les drames lyriques et leur exécution". Ha raccolto materiali per una Storia del violino, di cui, tuttavia, sono apparsi solo frammenti, con il titolo "Notices sur Corelli, Tartini, Gaviniés, Pugnani, et Viotti, extraits d'une histoire du violon" (Parigi, 1810). Dopo la caduta di Napoleone, Fayolle venne in Inghilterra, dove insegnò il francese e scrisse per l' "Harmonicon". Alla vigilia della Rivoluzione del 1830
tornò a Parigi e riprese la sua vecchia occupazione come critico musicale. Tra le sue ultime opere si possono citare un opuscolo intitolato "Paganini et Bériot" (Parigi, 1830), e gli articoli sui musicisti nel supplemento alla "Biographie Universelle" di Michaud. Morì il 2 dicembre 1852 a Ste. Perrine, un rifugio a Parigi.