Rođen 14. oktobra 1873. u seocetu Theuley-les-Lavoncourt na istoku Francuske, Rimet je bio sin trgovca mješovitom robom skromnih sredstava.
Γεννηθείς στο μικρό χωριό Theuley-les-Lavoncourt της ανατολικής Γαλλίας, στις 14 Οκτωβρίου 1873, ο Ριμέ ήταν γιος παντοπώλη με περιορισμένα οικονομικά.