Villeneuve-Loubet a un passé assez mouvementé. En effet, la ville s’est construite à partir de trois territoires : le Gaudelet (site où se trouve la forteresse médiévale), la Garde (où se trouve la Tour de la Madone) et le Loubet (actuellement quartier de Saint-Andrieu). Le Gaudelet a été conquis par Romée de Villeneuve au début du et a ainsi donné son nom au territoire, la Garde a elle été détruite car il s'agissait d'un repaire de brigands (il n’en reste qu'une tour qui était le donjon du château), et le Loubet a, lui, été rattaché administrativement à Villeneuve.