Por que o declínio posterior? São Sebastião, que tinha renda superior a Santos, é cidade que desertou. A população foi diminuindo. O café levou-a consigo. O advento da ferrovia, ao mesmo tempo que fez com que as cidades do trecho por onde ela cortava sofressem vertiginosa transformação, passando de antigos lugarejos a grandes cidades, fez com que após a inauguração do trecho entre Rio e São Paulo, a carga se deslocasse do Litoral Norte para o Rio de Janeiro, que se tornou o "Porto do Vale do Paraíba". A ferrovia vibrou funda punhalada nos velhos e prósperos portos litorâneos do Litoral Norte Paulista. Houve uma tentativa de reerguimento do velho Porto de Ubatuba, com o projeto de uma ferrovia, que chegou a ter início, e partiria daquela velha cidade alcançando Taubaté. Como sabemos, essa tentativa não teve êxito, assim como outras tentativas, continuando o Litoral Norte isolado por diversos anos.