หม่อมราชวงศ์รุจีสมร สุขสวัสดิ์ เกิดเมื่อวันที่ 12 กันยายน พ.ศ. 2463 ที่จังหวัดพระนคร มีชื่อเล่นว่า คุณหญิงอู้ โดยหม่อมมารดาจะเรียกว่า คุณอู้ เป็นธิดาคนเล็กของร้อยเอก หม่อมเจ้าทินทัต ศุขสวัสดิ์ กับหม่อมผิว ศุขสวัสดิ์ ณ อยุธยา (สกุลเดิม วสุวัต) มีพี่สาวสองคนคือ ท่านผู้หญิงทินะประภา อิศรเสนา ณ อยุธยา และหม่อมราชวงศ์กานดาศรี สุขสวัสดิ์ ขณะที่หม่อมราชวงศ์รุจีสมรมีอายุเพียงสองเดือนบิดาก็สิ้นชีพิตักษัย
หม่อมราชวงศ์รุจีสมร สุขสวัสดิ์ คุณหญิงอู้ คุณอู้ หม่อมราชวงศ์รุจีสมร
หม่อมมารดา หม่อมผิว ศุขสวัสดิ์ ณ อยุธยา
หม่อมเจ้าทินทัต ศุขสวัสดิ์ บิดา