Cailliet, nato a Dampierre-sur-Moivre, nel nord della Francia, ha studiato al conservatorio di musica di Dijon. Nel 1915, viaggiò negli Stati Uniti come turista per partecipare all'Esposizione Internazionale del Panama-Pacifico.
, che tornerà presto in Francia. Nel settembre 1920 emigrò negli Stati Uniti, navigando da Le Havre a New York sulla S/S "La Savoie". La sua destinazione era Philadelphia.