Robert dường như đã rời khỏi triều đình ngay sau cái chết của mẹ mình và dành nhiều năm đi du lịch khắp nước Pháp, Đức và Flanders. Ông đã đến thăm Ý để tìm kiếm bàn tay của người thừa kế vĩ đại Matilda của Tuscany (sinh năm 1046) nhưng không thành công. Trong giai đoạn này, như một hiệp sĩ lang thang, Robert đã sinh ra một số con ngoài giá trị. Con hoang của ông là Richard dường như đã dành phần lớn cuộc đời của mình tại triều đình hoàng gia của chú William Rufus. Richard này đã bị giết trong một tai nạn săn bắn ở New Forest vào năm 1099 cũng như chú của ông, vua William Rufus, vào năm sau đó. Một con gái ngoài giá trị sau đó đã kết hôn với Helias của Saint-Saens.
Helias của Saint-Saens