Гісторыя будучага музея пачынаецца з таго, што ў 1804 годзе бацькам Адама Міцкевіча была набытая сядзіба, дзе гаспадар паставіў драўляны дом. Праз тры гады пажар знішчыў драўляную пабудову, і на яе месцы было вырашана ўзвесці новы цагляны дом. Тут прайшло дзяцінства Адама Міцкевіча. Аднак пажар не абышоў бокам і гэты дом, і ў 1881 годзе цагляны будынак быў моцна пашкоджаны. У 1886 годзе дом адбудавалі.