เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
เฉลิมพันธ์ ศรีวิกรม์
ชีวิตครอบครัว นายเฉลิมพันธ์สมรสกับคุณหญิงศศิมา วุฑฒินันท์ มีบุตรทั้งหมด 5 คน เป็นชาย 4 หญิง 1 โดยบุตรชายคนโต คือ นายพิมล ศรีวิกรม์ เป็นอดีต ส.ส.กรุงเทพมหานคร ของพรรคไทยรักไทย จากการเลือกตั้งในปี พ.ศ. 2548 และอดีตผู้จัดการทีมเทควันโดทีมชาติไทย และบุตรสาวซึ่งเป็นคนสุดท้อง คือ นางทยา ทีปสุวรรณ ซึ่งเป็นรองผู้ว่าราชการกรุงเทพมหานคร ในสมัยที่หม่อมราชวงศ์สุขุมพันธุ์ บริพัตร เป็นผู้ว่าฯสมัยแรก (พ.ศ. 2552-พ.ศ. 2556; สมรสกับนายณัฏฐพล ทีปสุวรรณ ผู้อำนวยการพรรคประชาธิปัตย์)