สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค)
หลังพ้นหน้าที่ผู้สำเร็จราชการแทนพระองค์ ท่านก็ชอบออกไปตรวจราชการตามหัวเมืองต่าง ๆ และพำนักอยู่ที่เมืองราชบุรีเป็นส่วนใหญ่ นับเป็นเวลา 9 ปี ในวันที่ 19 มกราคม พ.ศ. 2425 ท่านถึงแก่พิราลัยด้วยโรคลมขณะที่กำลังเดินทางกลับจากราชบุรี รวมสิริอายุได้ 74 ปี 27 วัน โดยเหตุการณ์ในวันถึงพิราลัยของท่านนั้น มีบันทึกไว้ในจดหมายเหตุพระราชกิจรายวัน ดังต่อไปนี้
สกุลบุนนาค
สำหรับผู้ที่จะเป็นผู้นำในการสืบสกุลบุนนาคสายตรงนั้น พระบาทสมเด็จพระเจ้าอยู่หัวจะทรงพระกรุณาโปรดเกล้าฯ ให้ท่านผู้นั้นเป็นผู้รักษาสมบัติสำหรับสกุลบุนนาค คือ อัฐิเจ้าคุณพระราชพันธุ์ผู้เป็นต้นสกุล ได้แก่ อัฐิของเจ้าพระยาอรรคมหาเสนา (บุนนาค) กับเจ้าคุณนวล และสิ่งของบางอย่างซึ่งพระบาทสมเด็จพระเจ้า อยู่หัวแต่ละพระองค์พระราชทานแก่สมเด็จเจ้าพระยาฯ อาทิเช่น พระทนต์ในพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ซึ่งได้พระราชทานให้เจ้าพระยาอรรคมหาเสนา (บุนนาค) เก็บรักษาไว้เมื่อครั้งยังทรงพระชนม์อยู่ สมบัติดังกล่าวนี้รักษามาตั้งแต่ครั้งสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) และพระบาทสมเด็จ พระเจ้าอยู่หัวรัชกาลที่ ๕ ทรงมอบให้เจ้าพระยาสุรวงศ์ไวยวัฒน์ (วร บุนนาค) รักษาสืบต่อมา เมื่อท่านถึงแก่อสัญกรรม ก็โปรดเกล้าฯ ให้เจ้าพระยาสุรวงศ์วัฒนศักดิ์ (โต บุนนาค) รักษาสมบัติสำหรับสกุลสืบต่อมา และเมื่อท่านถึงแก่อสัญกรรม ก็ทรงพระกรุณาโปรดเกล้าฯ ให้พระยาสุริยานุวงศ์ประวัติ (เต็น บุนนาค) เป็นผู้รักษาสมบัติสำหรับสกุลสืบต่อมาจนถึงแผ่นดินสมัยรัชกาล ที่ ๖