Быхаўскі замак стаіць на ўсходняй ускраіне места, на высокім правым беразе Дняпра, на месцы больш ранняга пасялення XIV-XV ст. Уваходзіў у сістэму Быхаўскіх гарадскіх умацаванняў. Да 1590 року Быхаўскі замак меў драўляна-земляныя ўмацаванні — кальцавы вал, драўляныя сцены ў выглядзе гародняў, вежы і ўязную браму. У 1590 року замак вытрымаў напад атрада “нізавых казакоў” данскога гетмана Мацюшы Федаровіча, якія, “наехавши гвалтовне.., шкоды немалые… починили”. У варотах брамы і ў драўляных сценах засталіся “есьмо куль и стрел немало”. Тады ж гаспадар горада гетман ВКЛ Я.Н. Хадкевіч атрымаў ад караля грамату на ўзвядзенне новага замка. Будаўніцтва яго закончылася ў 1619 року Пры Л. Сапегу, да якога ў 1621 року перайшоў Быхаў, узведзена бастыённая фартыфікацыя.