เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง, ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม
และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน
เฉลิม อยู่บำรุง
ต่อมาวันที่ 21 ตุลาคม  พ.ศ. 2556 เวลาประมาณ 13.45 นาฬิกา ร.ต.อ.เฉลิม อยู่บำรุง เกิดอาการทรุดลงหลังกลับมาทำงานที่กระทรวงแรงงานได้ 1 สัปดาห์ จากการผ่าตัดอาการเลือดออกใต้เหยื่อหุ้มสมอง ในระหว่างหารือ กับ พลตำรวจเอกพงสพัศ พงเจริญ รองผู้บัญชาการตำรวจแห่งชาติ ถึงการจัดประชุมแนวทางป้องกันและปราบปรามยาเสพติด ที่ห้องทำงานชั้น 6 โดยมีอาการตัวเกร็ง พร้อมนั่งนิ่งไป จนเกือบฟุบลงจากเก้าอี้ ส่งผลให้ทีมงานต้องตัดสินใจ นำตัวร.ต.อ.เฉลิม ส่งโรงพยาบาลรามาธิบดี ทั้งที่ยังนั่งอยู่บนเก้าอี้