เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
วิกฤตการณ์การเมืองไทย พ.ศ. 2556–2557
วันที่ 30 กันยายน 2554 สำนักนายกรัฐมนตรีย้ายถวิล เปลี่ยนศรีจากตำแหน่งเลขาธิการสภาความมั่นคงแห่งชาติไปเป็นที่ปรึกษานายกรัฐมนตรี และแต่งตั้งให้พลตำรวจเอก วิเชียร พจน์โพธิ์ศรี ที่ออกจากตำแหน่งผู้บัญชาการตำรวจแห่งชาติไปเป็นเลขาธิการฯ แทนถวิล ต่อมาพลตำรวจเอก เพรียวพันธ์ ดามาพงศ์ พี่ชายคุณหญิงพจมาน ณ ป้อมเพชร อดีตภริยา พันตำรวจโท ทักษิณ ได้รับแต่งตั้งให้ดำรงตำแหน่งผู้บัญชาการตำรวจแห่งชาติ ถวิลร้องศาลปกครองให้เพิกถอนการย้ายนี้ ศาลปกครองสูงสุดมีคำพิพากษาถึงที่สุดเมื่อวันที่ 7 มีนาคมว่า การย้ายนั้นชอบด้วยกฎหมาย แต่ดุลยพินิจของการย้ายนั้นไม่มีเหตุผลอันสมควร เพราะไม่ปรากฏว่าถวิลปฏิบัติหน้าที่อย่างไม่มีประสิทธิภาพหรือผิดพลาดหรือไม่ยอมตามนโยบายของรัฐบาล ศาลสั่งให้สำนักนายกรัฐมนตรีย้ายถวิลกลับตำแหน่งเดิมภายในสี่สิบห้าวัน สำนักนายกรัฐมนตรีประกาศการย้ายเมื่อวันที่ 28 เมษายน 2557 โดยมีผลย้อนหลังถึงวันที่ 30 กันยายน 2554