เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
วัน อยู่บำรุง
ส่วนผลงานด้านการเมือง ได้แก่การแก้ปัญหาจากการเรียกเก็บค่าคุ้มครองที่เกิดขึ้นในวินมอเตอร์ไซค์เถื่อน มีส่วนร่วมในกิจกรรมของกระทรวงสาธารณสุขโดยเป็นแฮปปี้ทอยเลตคนแรกของประเทศไทย และมีส่วนร่วมในกิจกรรมของแอร์พอร์ตลิงก์ โดยเป็นมิสเตอร์แอร์พอร์ตลิงก์คนแรกของประเทศไทย รวมทั้งเป็นผู้จัดการแข่งขันมวยนัดพิเศษร่วมกับเมืองชัย กิตติเกษม ผู้เป็นอดีตแชมป์โลก เพื่อนำรายได้ช่วยเหลือผู้ประสบอุทกภัยในประเทศไทย พ.ศ. 2554 ในวันที่ 23 กรกฎาคม พ.ศ. 2561 เขาถูกจำคุก 1 คืนในคดีทะเลาะวิวาทก่อนได้รับการประกันตัว