Будаўніцтва замка распачата ў 1563 годзе паводле распараджэння вялікага князя літоўскага і караля Польшчы Жыгімонта II Аўгуста пасля захопу Полацка рускімі з мэтай абароны вусця ракі Ула і кантролю за рухам па Заходняй Дзвіне.