Filho de pai alemão e mãe portuguesa. Com quatro anos e meio de idade protagoniza os filmes do seu pai, cinéfilo amador. Aos cinco anos vai para o Kindergarten, jardim infantil alemão, passando depois para o Colégio Alemão. Com um comportamento e resultados pouco lineares, tem aí os seus primeiros contactos com o teatro e a música. Estudava ainda quando comprou a sua primeira viola-baixo, com a vontade de tocar, compôr e cantar. Através da música conhecerá a vida artística.
É por volta dos 18 anos que tem as primeiras aparições em televisão, no programa No Tempo Em Que Você Nasceu ao integrar o grupo In-Clave dirigido pelo maestro Pedro Osório, altura em que, a PIDE lhe faz um ultimato - ou se naturaliza português e cumpre o serviço militar ou terá que ir para a Alemanha, como alemão. Com a instauração da democracia Herman põe de parte a ideia de um curso superior em Munique. Em Outubro de 1974, levado pelo maestro do In-Clave estreia-se no teatro de revista, ao lado de Ivone Silva, José de Castro, Fernando Tordo, Nicolau Breyner e João Lagarto no ABC em Uma No Cravo, Outra Na Ditadura, da autoria de Ary dos Santos, César de Oliveira e Rogério Bracinha. É nas revistas do Parque Mayer que recebe a sua formação artística e depois de ter contacto com Nicolau Breyner, este transporta-o para a televisão.
Em 1975 dá-se a sua estreia em televisão com a rábula Sr. Feliz e Sr. Contente, ao lado de Breyner. Tempos depois os críticos diziam que Herman «metera o veterano ao bolso».
Paralalemante à televisão edita, em 1977, Saca o Saca-Rolhas que alcançou o Disco de Ouro. Durante cinco anos percorre o país em espectáculos de província onde debita anedotas, canta, inventa personagens e improvisa muito. Em 1980 A Canção do Beijinho é novamente Galardão de Ouro. Nesse mesmo ano a criação do personagem Toni Silva («artista da rádio, TV e disco» latino-romântico de brilhantina e lantejoulas que retratava a sociedade nas suas canções) atrai o grande público frente ao ecrã n' O Passeio dos Alegres, transmitido aos Domingos à tarde por Júlio Isidro. A crítica à volta do seu humor unanimiza-se.
Em 1983, ano da sua participação no Festival da Canção com A Côr do Teu Baton, o programa O Tal Canal é considerado pela imprensa como a melhor produção de humor portuguesa de todos os tempos. A sua equipa regressa em Hermanias (1984). O sucesso reflete-se em níveis altos de audiências, na maioria de um público jovem, já que a irreverência do programa chocava, por vezes, certos públicos mais conservadores. Humor de Perdição (1987) - depois de uma passagem bem sucedida pelo 1,2,3 junto de Carlos Cruz - envolve o humorista numa polémica após a proibição - por parte do Conselho Administrativo da RTP - das entrevistas históricas, rubrica permanente do programa, sendo a série suspensa precisamente quando estava para ser transmitida a 'entrevista' à Raínha D. Isabel.
Entretanto em 1987 Herman José estreia-se no cinema com O Querido Lilás, de Artur Semedo, filme que teve algum sucesso de bilheteira.
Só nos primeiros meses de 1990 tem lugar o seu regresso à TV com Casino Royal - uma mistura de noite de teatro com programa de variedades, retratando o ambiente de guerra vivido em Lisboa nos anos 40.
No princípio dos anos 90, depois de apresentar alguns concursos, como Com a Verdade Me Enganas e A Roda da Sorte, faz Parabéns (1993) em que mistura um concurso e sketches humorísticos num talk show, onde leva as mais variadas personalidades, de Roger Moore a Mário Soares, entre tantos outros.
Em 1996 Herman deixa o Parabéns, após a censura da rubrica Última Ceia que juntou cem mil assinaturas num abaixo-assinado a reclamar a proibição daquela rábula. Regressa depois com a Herman Enciclopédia (1997), classificado como sendo de humor educado e mordaz, correcto e desbragado, inocente e venenoso, culto e vernacular. Este programa teve duas séries e bastante sucesso, criando figuras inesquecíveis como o provedor Diácono Remédios, 'Melga' e 'Mike' das televendas, etc.
Para 1998, altura em que Lisboa recebeu a Exposição Universal, Herman saudou portugueses e estrangeiros com o seu Herman98, prolongado a Herman99. Aqui, a exposição hermaníaca divulgou figuras nacionais, trouxe música e humor. Primeiro em Lisboa, depois no Porto.
No ano 2000, Herman José muda-se para a SIC onde apresenta aos domingos, o programa HermanSIC onde entrevista várias personalidades (nacionais e internacionais), mescladas com vários sketches humorísticos com participação da sua equipa de actores, que é constituída por Maria Rueff, Joaquim Monchique, Ana Bola, Maria Vieira, Manuel Marques, Vítor de Sousa e o próprio. Estes programas foram frequentemente transmitidos em directo.
No ano de 2005, junta mais um CD à sua vasta discografia - És Tão Boa! reúne os maiores êxitos da sua carreira e foi durante semanas presença assegurada nos tops nacionais de vendas.
Em Fevereiro de 2007 Herman esteia um novo programa. Hora H, à semelhança de outros programas do actor está dividido em sketchs humorísticos.
Paralelamente à televisão Herman desenvolveu nos anos 80 intensa actividade de humorista radiofónico, primeiro na Rádio Comercial, passando pela TSF e por fim criando a Hermandifusão Portuguesa na Antena1/RDP, em duas edições diárias num simultâneo com a RDP Internacional, RDP África, Madeira e Açores.
No dia 13 de Janeiro de 2007, no programa Os Grandes Portugueses, Herman Jose ficou em 70º lugar na lista dos 100 maiores portugueses de sempre. No dia 1 de Abril de 2007 é lhe atribuído o Globo de Ouro de Mérito e Excelencia.