Robert sembra aver lasciato la corte subito dopo la morte di sua madre e ha trascorso diversi anni viaggiando in Francia, Germania e Fiandre. Ha visitato l'Italia cercando la mano della grande erede Matilda di Toscana (n. 1046) ma non ha avuto successo. Durante questo periodo come cavaliere errante Robert ha generato diversi figli illegittimi. Suo figlio bastardo Riccardo sembra aver trascorso gran parte della sua vita alla corte reale di suo zio Guglielmo Rufus. Questo Riccardo è stato ucciso in un incidente di caccia nella New Forest nel 1099 come fu suo zio, il re Guglielmo Rufus, l'anno successivo.
Francia, Germania e Fiandre