З 1647 года Высока-Літоўск належаў Сапегам, якія ў 1678 годзе заклалі прыгожы замак. У час вайны з Масковіяй замак неаднойчы гарэў і разбураўся, і на сёння ад яго зберагліся толькі ўязныя замкавыя вароты. Непадалёк ад замка Аляксандр Сапега пабудаваў манастыр баніфратаў, які збярогся да нашага часу.