Nassut a Dampierre-sur-Moivre, al nord de França, Cailliet va estudiar al Conservatori de música de Dijon. El 1915, va viatjar als Estats Units com a turista per assistir a l'Exposició Internacional del Pacífic de Panamà.
, que aviat tornarà a França. El setembre de 1920, va emigrar als Estats Units, navegant des de Le Havre a Nova York a bord del S/S "La Savoie". El seu destí era Filadèlfia.