L'histoire de la ville ne se limite cependant pas à la période papale. Avignon est en effet habitée depuis cinq mille ans, ainsi des habitations troglodytes furent percées dans le Rocher des Doms, partie supérieure d'un affleurement de calcaire surplombant le Rhône. Aujourd’hui s’y trouve un parc arboré agréable offrant une large panorama sur la ville et les alentours, un café et une aire de jeux. Avignon fut également une ville romaine, les murs qu’ils y firent construire gisent toujours sous les rues actuelles. Des vestiges du forum romain peuvent cependant être vu près de la rue Racine et de la rue Saint-Étienne, à l’ouest de la ville. La ville est parsemée de bâtiments dont la date de construction remonte de façon étagée des périodes récentes jusqu'aux périodes plus reculées.