เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
อดิศร เพียงเกษ
ด้านภรรยา ดร.เยาวนิตย์ เพียงเกษ ในรัฐบาล ยิ่งลักษณ์ ชินวัตร ได้รับการแต่งตั้งเป็นกรรมาธิการในคณะกรรมาธิการกิจการองค์กรตามรัฐธรรมนูญ รัฐวิสาหกิจ องค์กรมหาชนและกองทุนดร.อดิศร เพียงเกษ สมรสกับ ดร.เยาวนิตย์ เพียงเกษ (สกุลเดิม: พินสำริด) ผู้มีชื่อจัดตั้งว่า "สหายการะเกด" ปัจจุบันเป็นอาจารย์ ประจำสาขาวิชารัฐศาสตร์ มหาวิทยาลัยมหาจุฬาลงกรณราชวิทยาลัย วิทยาเขตขอนแก่น นอกจากนี้ ยังมีบุตรนอกสมรสจำนวน 3 คน กับนภาพร รักษ์สัจจะ เจ้าหน้าที่สำนักงานเลขาธิการสภาผู้แทนราษฎร (ปัจจุบันเปลี่ยนชื่อเป็นชัญชนา ศรีสัตย์)