Замак у Друі зяўляўся адным з важных абарончых пунктаў Падзвіння. На працягу сваёй гісторыі ён тройчы мяняў месца размяшчэння. Да 1515 г. замак знаходзіўся на левым беразе р. Друйкі, пры яе ўпадзенні ў Заходнюю Дзвіну. Пазней ён пераносіцца на процілеглы бок. У першай палове ХVІІ ст. пры будаўніцтве новага горада Сапежына, замак узвялі ва ўсходняй частцы горада, на высокім беразе Заходняй Дзвіны. Аб апошнім замку вядома, што быў ён драўляны, меў земляныя валы, дзве брамы.