Em 64 o túmulo de Paulo já era inegavelmente muito conhecido e se tornou imediatamente meta dos peregrinos romanos. Por isso, em seu sepulcro, foi erguido um pequeno monumento encomendado pelo imperador Constantino I. Em seguida foi erguida uma pequena Basílica, da qual ainda hoje podemos o abside. Em síntese, uma espécie de corredor semicircular na parte lateral e posterior do altar-mor.
Contudo, somente em meados de 324 a Basílica foi consagrada por Silvestro I, e logo após apareceram os primeiros problemas. Contudo, a basílica era muito pequena para o número de peregrinos que na maioria dos casos haviam a intenção se permanecer dentro. Por esta razão, no reinado dos imperadores Valentiniano II, Teodisio I e Graziano foi reconstruída completamente
A nova basílica era constituída por cinco corredores e 80 colunas. Foi consagrada em 390, mas só realmente completada pelo imperador Honório em 395. Leão I comissionou os retratos papais para serem colocados sobre os arcos.
Já com Papa Gregório I, houve uma reestruturação drástica na Basílica. Além de levantar o pavimento, foi construído um altar logo acima do túmulo de São Paulo. A construção do altar permitiu construir uma pequena passagem para se chegar ao túmulo do mártir. É claro que o pequeno acesso foi feito abaixo do nível do transepto. Com Adriano I, refez a pavimentação, mas foi Leão III quem colocou o primeiro piso de mármore.
A Basílica de São Paulo Extramuros, tornou-se tão importante que João III decidiu elevar as muralhas circundantes, fortificando-as com torres. Com todos estes trabalhos deu-se origem a uma verdadeira vila , chamada “Giovannopoli” em homenagem ao executor destes trabalhos.