Cailliet syntyi Dampierre-sur-Moivressa Pohjois-Ranskassa ja opiskeli Dijonin konservatoriossa. Vuonna 1915 hän matkusti Yhdysvaltoihin turistiksi osallistumaan Panama-Tyynenmeren kansainväliseen näyttelyyn.
Palaamme pian Ranskaan. Syyskuussa 1920 hän muutti Yhdysvaltoihin purjehtien Le Havresta New Yorkiin S/S "La Savoie" -aluksella. Hänen määränpäänsä oli Philadelphia.