De muur werd rondom het mausoleum gebouwd dankzij de goede strategische ligging van de burcht aan de rivier de Tiber. Ondanks dat het gebouw ingezet werd als verdediging van Rome is de burcht in 410 geplunderd door de Visigoten waarbij ze veel urnen en kunstwerken vernietigd. In 537 werd het fort aangevallen door de Goten en ter verdediging zijn er een groot aantal bronzen en stenen beelden naar de invallers gegooid vanaf de muur rondom het fort. Na deze aanval is er slechts één deksteen van de tombes intact gebleven, de steen van Adrianus. Deze steen is later gebruikt bij de tombe van paus Otto II in de Sint-Pietersbasiliek in Vaticaanstad.