En 1129, le premier retranchement est remplacé par un mur en pierre, le début d'un système de fortification impressionnant avec des portes et des tours. En 1675, le roi Louis XIV ordonne de démanteler la ceinture de fortifcation et plus tard encore les derniers restes des murs seront abattus. Une partie des anciennes fortifications subsiste de nos jours : les locaux souterrains de la Porte de Brustem. Le tracé des anciens remparts a été conservé et se traduit par le parc public et par les allées qui entourent le noyau de la ville.