Em 1901 foi promovido a primeiro-tenente e em 1908 a capitão. Nesse posto formou-se em engenharia, obtendo o título de bacharel em matemática e ciências físicas. Elevado a major em dezembro de 1917, alcançou a patente de tenente-coronel em maio de 1920.
Durante o ciclo revolucionário tenentista da década de 1920, João Gomes foi encarregado de importantes missões a serviço das forças governamentais. Foi promovido a coronel, por merecimento, em fevereiro de 1923, e a general-de-brigada em dezembro de 1924. No ano seguinte, combateu no Piauí a Coluna Prestes que, formada no Paraná com a junção de revoltosos gaúchos e paulistas em 1925, percorrera extensas regiões do país até chegar àquele estado. Em janeiro de 1926, quando as tropas governamentais se concentraram mais intensamente no Ceará, dirigiu-se a Fortaleza para aguardar e enfrentar a Coluna.
Em 1928, foi eleito para a presidência do Clube Militar. Contrário à Revolução de 1930, João Gomes foi, a princípio, alvo de suspeição por parte dos integrantes do movimento vitorioso. Entretanto, o Governo Provisório, reconhecendo seu espírito legalista, nomeou-o para o comando da 1ª Região Militar, no Rio de Janeiro (então Distrito Federal). Permaneceu nesse posto por pouco tempo, exonerando-se em virtude da indisciplina reinante entre a oficialidade, conseqüência da ação política do Clube 3 de Outubro, que reunia a ala mais radical do movimento tenentista. Foi então transferido para o comando da 1ª Brigada de Infantaria, sediada na Vila Militar do Rio de Janeiro, onde ficou até junho de 1932.
A participação de João Gomes na Revolução Constitucionalista de 1932 é objeto de controvérsias. Antes da deflagração do movimento, reuniu-se na casa de Nestor Penha Brasil com Júlio de Mesquita, o capitão Justino Alves Bastos e os coronéis Euclides Figueiredo e Basílio Taborda, participantes da conspiração, a fim de discutir a situação política de São Paulo e o plano militar dos constitucionalistas.