У 1503 годзе паўночна-ўсходнія воласці Віцебскай зямлі, у тым ліку Веліжская, адышлі да Маскоўскай дзяржавы. Летам 1536 года, згодна з распараджэннем маскоўскіх уладаў, тут, на старым гарадзішчы, была ўзведзена магутная драўляная крэпасць. Гэты год і лічыцца афіцыйнай датай заснавання Веліжа. У пачатку жніўня 1580 года войскі караля Стэфана Баторыя занялі Веліж. І, паводле пунктаў Ям-Запольскага мірнага дагавора, заключанага ў студзені 1582 года, горад увайшоў у склад ВКЛ.