Замак у Наваградку вядомы яшчэ з пачатку ХI стагоддзя. Тады ён быў драўляным і на працягу двухсот гадоў неаднаразова адбудоўваўся. У другой палове XIII стагоддзя на крутой замкавай гары з’явілася першая каменная вежа. Амаль стагоддзе замак стрымліваў жорсткія напады татараў ды крыжакоў, якія так і не здолелі ім авалодаць. Замест пашкоджанай у баях вежы паставілі новую вежу – Шчытоўку. Яна таксама доўгі час заставалася адзінай каменнай пабудовай замка. Аднак частыя пагрозы з боку крыжакоў прымусілі гараджан узвесці тут яшчэ некалькі мураваных вежаў – Касцёльную, Малую і Пасадскую, пазней на схіле гары з’явіліся Калодзежная і Меская, а на самім замчышчы паўстала магутная Дазорная вежа. Злучаныя мураванымі сценамі Меская, Малая і Калодзежная вежы, утварылі форбург, які абараняў уваход у замак з боку горада.