Filho de um major da aeronáutica, João Donato de Oliveira Filho e Eutália Pacheco da Cunha, nasceu em Rio Branco no dia 17 de agosto de 1934, mas 11 anos depois mudou-se para o Rio de Janeiro. Desde cedo demonstrou ter mais intimidade com a música, aos cinco anos já tocava acordeon.
João Donato nasceu em uma família musical, seu pai que era piloto de avião, nas horas vagas tocava bandolim. A mãe cantava e a irmã mais velha, Eneyda, pretendia ser concertista de piano. O caçula, Lysias, pendeu para as letras e se tornaria o principal parceiro nas composições com Donato.
O primeiro instrumento de João foi o acordeão, no qual, aos oito anos, compôs sua primeira música, a valsa "Nini". Antes de completar 12 anos, o pai presenteou-lhe com acordeões de 24 e 120 baixos. Em 1945, Donato pai é transferido, e a família tem de deixar Rio Branco rumo ao Rio de Janeiro.
Em pouco tempo, passou a frequentar o circuito musical das festas de colégios da Tijuca e adjacências. Tentou a sorte no programa de Ary Barroso. Intransigente, Ary rodou o tabuleiro da baiana e sequer quis escutá-lo, sob a alegação de que "não gostava de meninos-prodígio".
Ao profissionalizar-se, em 1949, aos 15 anos, Donato já havia participado das jam sessions realizadas na casa do cantor Dick Farney e no Sinatra-Farney Fã Club, do qual era membro. Johnny Alf, Nora Ney, Dóris Monteiro, Paulo Moura e até Jô Soares, no bongô, estavam entre os componentes destas jams.
Na primeira gravação em que participa, como integrante da banda do flautista Altamiro Carrilho, Donato toca acordeão nas duas faixas do 78 RPM: "Brejeiro", de Ernesto Nazareth, e "Feliz aniversário", do próprio Altamiro. Pouco depois, migra para o grupo do violinista Fafá Lemos, como suplente de Chiquinho do Acordeom.
Durante este período frequentou o Sinatra-Farney Fã Clube, no bairro da Tijuca, zona norte carioca, que durou apenas 17 meses, considerado por muitos estudiosos como uma escola para toda a geração que mais tarde criaria a Bossa Nova.
Em 1951, com apenas 17 anos, namorou Dolores Duran, que tinha 21. O romance gerou polêmicas e preconceitos a época, por ela ser mais velha que ele. Após um tempo, João resolveu se separar dela por causa das brigas da família do casal. Assim, ele a deixou e foi morar no México.
A partir de 1953, agora como pianista, Donato passa a comandar suas próprias formações instrumentais,– Donato e seu Conjunto, Donato Trio, o grupo Os Namorados – com quem lança, em 78 RPM, versões instrumentais para standards da música americana (como "Tenderly", sucesso de Nat King Cole) e brasileira (como "Se acaso você chegasse, do sambista gaúcho Lupicinio Rodrigues).
Três anos depois, a Odeon escala um iniciante para fazer a direção musical de "Chá Dançante" (1956), primeiro LP de Donato e seu conjunto. Antônio Carlos Jobim fez a seleção musical do disco de João Donato. O repertório escolhido por Tom Jobim foi: "No rancho fundo" (Lamartine Babo – Ary Barroso), "Carinhoso" (Pixinguinha – João de Barro), "Baião" (Luiz Gonzaga – Humberto), "Peguei um ita no norte" (Dorival Caymmi).
Em seguida, Donato passa uma temporada de dois anos na cidade de São Paulo. Quando volta ao Rio de Janeiro, a Bossa Nova estava deflagrada. Ainda em 1958, grava "Minha saudade" e "Mambinho", em parceria com João Gilberto.
A convite de Nanai (ex integrante do grupo Os Namorados) parte para uma temporada de seis semanas em um cassino Lake Tahoe (Nevada) Donato adaptou as influências do jazz com a música do Caribe, como integrante das orquestras de Mongo Santamaría, Johnny Martinez, Cal Tjader e Tito Puente. E excursionou com João Gilberto pela Europa.