Першае згадванне пра горад Клімавічы датуецца 1581 годам, калі тэрыторыя горада ўваходзіла ў склад Мсціслаўскага ваяводства. Яго тэрыторыя была ўладаннямі Вялікага Княства Літоўскага, таму часта пакутавала ад войн з Расіяй. Будынкі Клімавіч то руйнаваліся, то аднаўляліся нанова.