เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
อาสา สารสิน
นายอาสา สมรสกับ ท่านผู้หญิงสุจิตคุณ สารสิน (นามสกุลเดิม กิติยากร) ธิดาของหม่อมเจ้าขจรจบกิตติคุณ กิติยากร กับหม่อมราชวงศ์วิจิตรโฉม ชยางกูร มีบุตร-ธิดา 3 คน คือ
ประสบการณ์ทำงานอื่น ๆ อาทิ
กรรมการ ธนาคารกรุงเทพ, รองประธานกรรมการ บริษัทเงินทุนหลักทรัพย์ ร่วมเสริมกิจ จำกัด, ประธานกรรมการ บริษัท ไทยเอเชียแปซิฟิคบริวเวอรี่ จำกัด ผู้ผลิตและจำหน่าย เบียร์ไฮเนเก้น และ ไทเกอร์เบียร์ ของประเทศสิงคโปร์