Raimondis syntyi provanssilaiseen perheeseen, jolla oli vahva merivoimien perinne ja pitkäaikainen rooli valtakunnan hallinnollisissa asioissa. Perheen jäsenillä oli ollut seneshali tai luutnantti päällikkö ja luutnantti kenraali hallinnossa, ja he olivat olleet kruunun kannattajia Fronden aikana. Yksi hänen esivanhemmistaan oli ollut merivoimien kenraalimajuri ja oli kuollut
La Houguen taistelu.