Jânio ingressou oficialmente no PTB em 15 de novembro de 1980, sendo lançado candidato ao governo paulista na convenção realizada pela agremiação em abril de 1981. Continuou a declarar-se admirador do presidente João Figueiredo, “um Hércules a sustentar sobre os ombros toda essa estrutura da neodemocracia que ele promoveu”. Ao mesmo tempo em que tentava capitalizar o legado político de Getúlio Vargas e do antigo PTB, empreendeu esforços para aproximar-se do Partido Popular (PP), mantendo com esse fim sucessivos encontros com Olavo Setúbal, Miro Teixeira e Tancredo Neves. Em 18 de junho de 1981 sugeriu a fusão entre o PTB e o PP, e a criação de um novo partido presidido por Tancredo, reafirmando essa proposta dois dias depois. Nessa ocasião, chegou a afirmar que se esse projeto não fosse realizado ingressaria no PP. Com a divulgação da informação de que o governo proibiria coligações partidárias nas eleições de 1982, Jânio publicou um manifesto, em 26 de junho de 1981, comunicando seu afastamento do PTB e defendendo a fusão de todos os partidos de oposição. A partir daí, começou a aproximar-se do Partido do Movimento Democrático Brasileiro (PMDB), alvo de muitos ataques seus nos meses anteriores.
Em 27 de agosto de 1981, depois de nova viagem à Inglaterra, Jânio preencheu sua ficha de filiação ao diretório do PMDB de Vila Maria, onde se localizava sua mais forte base de apoio na capital paulista. Seu ingresso no PMDB foi facilitado pelo deputado estadual José Storopoli, presidente daquele diretório, que não consultou as direções regional e nacional. A decisão de Jânio provocou desde logo reações contrárias dentro do PMDB, com a multiplicação de moções de repúdio em outros diretórios distritais e a decisão da comissão executiva regional, tomada em 13 de outubro, de considerá-lo inconveniente nos quadros partidários. O veredicto final passou para a comissão executiva nacional que, reunida no dia 20 seguinte, rejeitou a filiação de Jânio por 13 votos contra dois. Apenas o senador paulista Orestes Quércia e o então ex-deputado paranaense José de Alencar Furtado votaram a favor do ex-presidente, que, pouco depois, encaminhou recurso, em linguagem veemente, ao Supremo Tribunal Federal.
Depois de recusar convites dos partidos Democrático Trabalhista (PDT) liderado por Leonel Brizola e Democrático Republicano (PDR), que não chegou a obter registro definitivo na Justiça Eleitoral, Jânio se filiou novamente ao PTB em 3 de novembro e, no fim desse mês, anunciou que concorreria à Câmara dos Deputados e não ao governo paulista. Entretanto, voltou atrás dessa decisão e aceitou reassumir sua candidatura nos moldes anteriores. No pleito de novembro de 1982, concorreu ao governo de São Paulo na legenda do PTB, sofrendo aí a segunda derrota eleitoral em toda sua carreira política, tendo sido o terceiro colocado, com Franco Montoro, do PMDB, em primeiro, e Reinaldo de Barros, do Partido Democrático Social (PDS), em segundo.
Durante o ano de 1983, manteve-se afastado de uma atuação mais direta na vida política, vindo a manifestar suas posições por meio da imprensa em fevereiro de 1984, quando se desenrolava a campanha pelo retorno às eleições diretas para a presidência da República. Na ocasião, fez restrições à campanha das diretas por considerar que os comícios que se alastravam pelo país estavam “infiltrados de radicais, sobretudo marxistas-leninistas”. Com relação à sucessão presidencial, inicialmente Jânio manifestou apoio a Aureliano Chaves, em seguida expressou sua aprovação ao nome de Paulo Maluf, para finalmente aderir à campanha de Tancredo Neves.
Em 1985, retornou ao centro da política lançando-se candidato à prefeitura de São Paulo pelo PTB, no pleito de 15 de novembro desse ano. Durante a campanha, Jânio repetiu os gestos e o esquema que o elegeram em 1954. Foi flagrado com os sapatos trocados e com um quimono de samurai que lhe presentearam em uma visita ao bairro da Liberdade, reduto de orientais. Declarou que ia colocar São Paulo em ordem com seus bilhetinhos e varrer a corrupção com sua vassoura, numa referência a dois dos símbolos da administração janista nos anos de 1950. Uma importante estratégia de campanha foi o fato de ter encampado o anseio dos paulistanos por mais segurança, prometendo espalhar policiais em cada quarteirão da cidade.
Seu principal adversário foi o candidato do PMDB, o senador Fernando Henrique Cardoso, favorito nas pesquisas de opinião. O embate entre Jânio e Cardoso marcou a campanha com lances jocosos. Aproveitando-se de algumas declarações polêmicas de Cardoso como a de que havia experimentado um cigarro de maconha nos anos 1960 e que era “ateu, graças a Deus”, Jânio reforçou o conteúdo moralista de seu estilo em várias oportunidades. Numa delas, alertou os eleitores, em rede de televisão, para o perigo de Fernando Henrique, caso eleito, colocar maconha na merenda das crianças. Em outra, reafirmou que acreditava em Deus e iria “governar com o povo e a cristandade”.
Na verdade, segundo avaliação do deputado Gastone Righi do PTB e braço direito de Jânio na campanha, o grande lance de Jânio foi ter conseguido os votos do centro à direita enquanto os do centro à esquerda ficaram divididos entre Cardoso e o candidato do Partido dos Trabalhadores (PT), Eduardo Matarazzo Suplici. Jânio obteve a adesão de alguns deputados do Partido da Frente Liberal (PFL), em troca de apoio à candidatura do ministro das Relações Exteriores, Olavo Setúbal, para o governo de São Paulo.
Questionado sobre o programa de governo que iria adotar na prefeitura, respondeu mais de uma vez: “Eu sou o programa.” Ao mesmo tempo, fez muitas promessas e acabou definindo um programa “informal” que incluía o retorno dos velhos bondes, a criação de uma guarda municipal, a implantação do monotrilho e a transferência da companhia do metrô para a prefeitura. Comprometeu-se, ainda, a criar subprefeituras a ele diretamente subordinadas e não mais administrações regionais, que agiriam com total independência, inclusive orçamentária. A idéia era manter uma administração municipal aberta à população como no passado, quando Jânio recebia as pessoas no seu gabinete, retomando as audiências públicas, a exemplo do que fez quando prefeito em 1953.
Contrariando as pesquisas de opinião, a votação obtida por Jânio superou a de Fernando Henrique Cardoso nas regiões norte e leste de São Paulo, as mais populosas e carentes, estabelecendo um recorde em Vila Maria, seu reduto eleitoral histórico, com 48,8% dos votos.
Em 1º de janeiro de 1986, logo após a cerimônia de posse, Jânio dirigiu-se ao seu gabinete, onde, na presença de jornalistas, desinfetou com inseticida a cadeira do prefeito, na qual o seu adversário, Fernando Henrique Cardoso, havia posado perante fotógrafos que documentaram a cena durante a campanha eleitoral.
Sua administração foi marcada por medidas de impacto e por manifestações de protesto. Já nos primeiros meses de sua gestão, Jânio anunciou a decisão de demitir 12 mil servidores municipais. Em reação, foi realizada uma manifestação de protesto que reuniu cerca de mil funcionários públicos em frente ao gabinete do prefeito, no parque Ibirapuera. O objetivo era conseguir uma audiência com Jânio, visando a revogação dos decretos que definiam a dispensa dos servidores. No dia seguinte, Jânio expediu memorando ao chefe da assessoria militar proibindo qualquer manifestação no parque Ibirapuera.