O primeiro sintoma de divergência entre o ministro do Trabalho e o presidente da República se manifestou logo no início de abril, quando Almino Afonso alterou uma portaria ministerial que dispunha sobre a ilegalidade das organizações trabalhistas formadas horizontalmente e acima das confederações por categoria profissional, em vigor desde 1954, e baixou novas instruções reconhecendo a legalidade do CGT. Justificando a medida com base nos direitos de associação e de reunião assegurados pela Constituição, Almino Afonso alegou que a CLT não proibia “a existência de organismos de coordenação entre as entidades sindicais para o trato de problemas que não se limitam à competência de cada uma delas em particular, porque envolvem interesses de todos em geral: inflação, custo de vida, níveis salariais etc.”. Além de contrariar o presidente, incompatibilizou-se com os industriais, que criticaram a nova portaria através de seus órgãos de classe, como a Federação das Indústrias do Estado de São Paulo (FIESP) e a Confederação Nacional da Indústria (CNI). Em contrapartida, angariou o apoio da esquerda que defendia, igualmente, o reconhecimento das entidades criadas à margem da estrutura sindical oficial e se opunha ao Plano Trienal. Ainda em abril, recusou o pedido de Goulart para que atuasse como mediador na greve deflagrada pelos condutores de bondes e de ônibus elétricos no estado da Guanabara e transferiu a responsabilidade para as autoridades estaduais.
Ao mesmo tempo que iniciava a instalação de hospitais regionais da previdência social, Almino Afonso prosseguia a ofensiva em relação aos institutos de previdência para reestruturar a política de nomeações para os vários órgãos da burocracia do Ministério do Trabalho. Nesse sentido, afastou o presidente do conselho administrativo do Instituto de Aposentadoria e Pensões dos Industriários (IAPI), Ezar Zacarias André, que era ligado a Ivete Vargas. Destituiu da direção do Instituto de Previdência e Assistência dos Servidores do Estado (IPASE) José Firmo, homem de confiança do líder do PTB na Assembléia da Guanabara, José Saldanha Coelho, e nomeou para o cargo Clidenor Freitas. A posse do novo presidente do IPASE no dia 20 de abril, com a presença do comandante do I Exército, general Osvino Ferreira Alves, de representantes do CGT, da UNE e da FPN, transformou-se num ato de solidariedade ao ministro do Trabalho. Fortalecido, Almino procurou ainda enfraquecer a influência de Dante Pellacani como diretor do Departamento Nacional de Previdência Social pois, embora ocupasse os cargos de secretário-geral da Confederação Nacional dos Trabalhadores na Indústria (CNTI) e de vice-presidente do CGT, Pellacani mantinha estreitas ligações com Ivete Vargas e o PTB paulista. Diante do afastamento de elementos de sua confiança desses postos-chave, Ivete e Saldanha Coelho procuraram, sem êxito, mobilizar a bancada petebista na Câmara para romper com Almino Afonso e pressionar o presidente da República para que o destituísse da pasta do Trabalho.
Permanecendo no ministério, Almino Afonso participou em maio da Conferência Interamericana de Ministros do Trabalho promovida pela Organização dos Estados Americanos (OEA) em Bogotá, na Colômbia. Durante o evento, denunciou a ineficácia do programa norte-americano de ajuda aos países da América Latina, a Aliança para o Progresso, e exigiu sua radical transformação, razão pela qual foi aclamado pelos sindicalistas de esquerda na ocasião de seu regresso ao Brasil.
No fim de maio, o CGT ameaçou deflagrar uma greve geral, mantendo a pressão sobre o governo para que desse início às reformas de base. Almino Afonso, apesar de encontrar-se já bastante desgastado com Goulart, recusou-se a impedir a paralisação, alegando a constitucionalidade do direito de greve. Além disso, no início de junho, defendeu a imunidade sindical, colocando-se ao lado do presidente da Federação Nacional dos Aeroviários, Paulo de Melo Bastos, ativo membro do CGT que havia sido demitido da Varig num episódio que provocara a eclosão de uma greve dos pilotos comerciais. Assim, enquanto Almino e Brizola se aproximavam das lideranças sindicais e lutavam pela implementação das reformas de base, Goulart tentava enfraquecer o CGT, criando uma outra entidade trabalhista, a União Sindical dos Trabalhadores. No entanto, o presidente fracassou em seus objetivos porque o novo organismo não obteve o respaldo daqueles que se propunha representar.
O fracasso da política econômica do governo, por um lado, e as crescentes divergências entre Almino e Goulart, por outro, acabaram provocando a demissão de quase todo o ministério, ao longo do mês de junho. Foram destituídos os três ministros militares, os ministros da Justiça e da Fazenda e, no dia 16, o próprio Almino, substituído por um político pouco conhecido nos meios sindicais, o senador petebista Amauri Silva. Sem condições de esboçar qualquer reação naquele momento, o CGT não pressionou o governo pela manutenção de Almino Afonso nem pela indicação de algum nome para substituí-lo no Ministério do Trabalho.
Logo após ser destituído do cargo de ministro do Trabalho, Almino Afonso assumiu o mandato de deputado federal, tornando-se líder do bloco compacto do PTB na Câmara. Nessa condição, defendeu o monopólio estatal de todos os recursos do subsolo, da energia elétrica e das telecomunicações, além da nacionalização dos bancos, das companhias de seguros e da indústria farmacêutica. Continuou lutando pela limitação da remessa de lucros para o exterior e engajou-se nas campanhas pela concessão de voto aos analfabetos e pela elegibilidade dos sargentos, integrando ainda, como membro efetivo, a Comissão de Relações Exteriores da Câmara.
Ao lado de alguns deputados da FPN e de alguns representantes do CGT e do Comando de Trabalhadores Intelectuais, foi um dos signatários do manifesto lançado em dezembro de 1963 pela Frente de Mobilização Popular (FMP). O documento reivindicava a recomposição do ministério com o estabelecimento de uma nova política de governo nacionalista e popular, e indicava o nome de Leonel Brizola para integrá-lo. Defendia também a participação de representantes dos setores populares nos organismos governamentais, a criação de condições imediatas para a resolução da crise econômico-financeira do país e a preservação das liberdades democráticas.
Nos primeiros meses de 1964 Goulart procurou estrategicamente mobilizar as massas para a implementação das reformas de base, que vinham sendo bloqueadas pelo Congresso. Um reflexo dessa nova tendência foi o discurso que pronunciou no comício do dia 13 de março, na Central do Brasil, no Rio de Janeiro, organizado e convocado pelas entidades vinculadas à FMP, ao CGT e à FPN. Poucos dias após a manifestação, Almino Afonso defendeu na Câmara as teses fundamentais contidas no pronunciamento do presidente, sobretudo no tocante às reformas de base. Ao mesmo tempo, a reação dos setores oposicionistas civis e militares se intensificou, recrudescendo a conspiração que conduziu ao movimento político-militar que em 31 de março depôs João Goulart. Em 1º de abril, Almino Afonso participou de uma reunião com Goulart em Brasília para analisar o quadro político e a possibilidade de resistência. A esse encontro compareceram também o chefe do Gabinete Civil da Presidência da República, Darcy Ribeiro, o consultor-geral da República, Waldir Pires, e o deputado petebista Armindo Doutel de Andrade. Após a reunião, Almino, Doutel de Andrade e o deputado pessedista Tancredo Neves redigiram um documento que foi gravado por Goulart para ser transmitido pela Rádio Nacional, na qual o presidente afirmava que lutaria contra sua deposição enquanto tivesse forças e denunciava o caráter reacionário do movimento, acusando-o de vinculação com o serviço secreto norte-americano. À noite, no entanto, Goulart seguiu para Porto Alegre e, no dia seguinte, 2 de abril, o presidente da Câmara, Ranieri Mazzilli, foi empossado na presidência da República.
No dia 9 de abril, o Comando Supremo da Revolução editou o Ato Institucional depois chamado nº 1, AI-1, que foi o primeiro elemento formalizador das transformações políticas introduzidas no país. Além de determinar a eleição indireta do próximo presidente da República e transmitir ao Executivo importantes atribuições do Legislativo, o AI-1 permitiu punições extralegais de adversários do novo regime. Exemplo disso foi a primeira lista de cassações, divulgada logo no dia seguinte, da qual constava o nome de Almino Afonso. Além de perder o mandato de deputado federal, ele teve os direitos políticos suspensos por dez anos.
Conseguindo asilo político na embaixada da Iugoslávia em Brasília, Almino Afonso permaneceria longos anos no exterior. Da Iugoslávia transferiu-se para o Chile, onde foi professor da Universidade Católica (1972-1973) e diretor da Faculdade Latino-Americana de Ciências Sociais (1973-1974). Residiu também no Uruguai, no Peru e na Argentina, trabalhando sempre em organismos vinculados à Organização das Nações Unidas (ONU).
Em agosto de 1976 retornou ao Brasil proveniente de Buenos Aires e permaneceu por três meses em São Paulo. Viajou novamente para a capital argentina e, ao voltar ao Brasil, no final do ano, instalou-se definitivamente como advogado na cidade de São Paulo. Em janeiro de 1977, juntamente com Francisco Weffort e outros nomes do meio acadêmico, fundou na capital paulista o Centro de Estudos de Cultura Contemporânea (Cedec).
Entre o final de 1977 e o início de 1978, passou a escrever artigos semanais para o jornal Folha de S. Paulo, nos quais levantava questões relativas ao processo político brasileiro, à perspectiva de uma abertura democrática e à necessidade de criação de novos partidos. Desde a extinção dos antigos partidos pelo AI-2, editado em 1965, vigorava no país o bipartidarismo, com a Aliança Renovadora Nacional (Arena), partido de apoio ao governo militar, e o Movimento Democrático Brasileiro (MDB), de oposição. Não acreditando na viabilidade da reestruturação do PTB “tal qual era, porque o país mudou em 14 anos, e, além do mais, aquele partido não tinha em seu interior uma militância popular real”, defendeu a criação de uma agremiação política identificada com as classes populares que pudesse refletir o “dia-a-dia das lutas sociais de operários e assalariados, com o objetivo de construir uma sociedade socialista”. Permanecendo ligado aos setores oposicionistas, sustentou a necessidade de uma completa revisão da estrutura sindical de forma a possibilitar a livre negociação entre empregados e empregadores, a liberdade sindical e o direito de greve. Defendeu ainda a luta pela redemocratização do país através da convocação de uma assembléia nacional constituinte, livremente eleita com a participação dos diversos segmentos da sociedade. Num período em que a Ordem dos Advogados do Brasil (OAB) se destacou como uma das principais entidades da sociedade civil engajadas no processo de redemocratização do país, foi membro do seu Conselho Federal, de 1979 a 1983.
Em fevereiro de 1979, durante viagem que fez à Europa, reuniu-se em Lisboa com Leonel Brizola e, em Paris, com o ex-governador de Pernambuco, Miguel Arrais, discutindo com ambos o quadro político brasileiro e a importância de se promover a unidade das oposições no interior do MDB. No entanto, com a perspectiva de, num momento posterior, reorganizar um novo partido trabalhista, ao retornar ao Brasil iniciou uma série de contatos com importantes lideranças sindicais, entre as quais o presidente do Sindicato dos Metalúrgicos de São Bernardo do Campo e Diadema, em São Paulo, Luís Inácio Lula da Silva, que, já na ocasião, era um dos principais articuladores do Partido dos Trabalhadores (PT).
Em maio de 1979 filiou-se ao MDB, afirmando que ali permaneceria “até o momento oportuno para a criação de novos partidos” e que trabalharia para consolidar a corrente popular do MDB, formada pelos chamados “autênticos”. Com a extinção do bipartidarismo em 29 de novembro de 1979 e a conseqüente reformulação partidária, filiou-se ao Partido do Movimento Democrático Brasileiro (PMDB), sucessor do MDB, tornando-se um dos coordenadores da chamada tendência popular do partido. Em agosto de 1981, durante o episódio da tentativa de filiação do ex-presidente Jânio Quadros ao PMDB, teve destacada atuação no caso, apresentando inclusive um pedido de impugnação ao ingresso de Jânio, sob a justificativa de sua prática política notadamente não oposicionista e de sua vinculação com conhecidos elementos do governo. Embora a questão houvesse suscitado opiniões divergentes no interior do partido, em 20 de outubro a comissão executiva nacional do PMDB vetou o ingresso do ex-presidente.
Nas eleições de novembro de 1982 candidatou-se a uma cadeira no Senado pelo estado de São Paulo na legenda do PMDB. Foi o segundo mais votado de sua legenda, com 1.861.092 votos, atrás de Severo Gomes. No ano seguinte, nomeado pelo governador recém-eleito André Franco Montoro, assumiu a Secretaria dos Negócios Metropolitanos do Estado de São Paulo. Permaneceu no cargo até 1986, quando se desincompatibilizou para disputar as eleições estaduais como candidato a vice-governador na chapa do PMDB encabeçada por Orestes Quércia, que foi vitoriosa.
Mesmo antes do início da nova gestão em 15 de março de 1987, em clara oposição aos setores peemedebistas que pretendiam uma aproximação com o Partido da Frente Liberal (PFL) e com a ala janista da Assembleia Legislativa do Estado de São Paulo, Almino Afonso defendeu uma aproximação com o PT, a fim de garantir uma maioria que desse sustentação política ao governo eleito.
Em 1º de fevereiro de 1987, foram abertos os trabalhos da Assembléia Nacional Constituinte, eleita em 15 de novembro de 1986. Entre as diversas proposições apresentadas no anteprojeto da futura Carta constitucional, figurava a da adoção do parlamentarismo no país a partir de 15 de março de 1988. Dizendo-se um parlamentarista convicto, e apreensivo com as consequências que tal proposta poderia trazer para os rumos da transição democrática, Almino Afonso posicionou-se resolutamente contra ela, argumentando que, se fosse aprovada, poderia ocorrer um “conflito de atribuições” entre o presidente da República José Sarney e o futuro primeiro-ministro, agravando-se dessa forma a crise que a nação atravessava. Afirmando temer o retorno à aventura de 1961, sustentou que o sistema parlamentarista só deveria ser introduzido a partir do próximo mandato presidencial. Seguindo a mesma linha de argumentação com a qual refutou a tese parlamentarista, qualificou de golpista a proposta de realização de eleições gerais ainda no ano de 1988, o que abreviaria o mandato de José Sarney, inicialmente previsto para terminar em março de 1991. No entanto, no final de 1987, mudou radicalmente de posição, passando a defender a realização das eleições em novembro do ano seguinte, tal como pretendiam a oposição e diversos setores da sociedade.