Sua situação de maneira geral começa a mudar a partir de 1935, quando o baterista Chick Webb busca uma cantora para sua big band, a Chick Webb Orchestra. Com o acréscimo luxuoso da voz de Ella, a banda de Webb ganha mais destaque e conhece o sabor de um grande hit, a música A Tisket-A-Tasket. Com a morte precoce de Webb em 1939, Ella se torna a líder da banda com apenas 22 anos, passando a se chamar Ella Fitzgerald and Her Famous Band.
Fitzgerald liderou o grupo até 1941, quando decidiu seguir carreira solo. A cantora passou a integrar o time da gravadora inglesa Decca Records, com quem gravou grandes sucessos, junto de grupos como The Ink Spots, The Delta Rhythm Boys e o saxofonista Louis Jordan. Em meados dos anos 1940, Ella participa da turnê Jazz at the Philharmonic, produzida pelo empresário Norman Granz, e cantando com a banda de Dizzy Gillespie. Na turnê com o grupo, aprimorou sua técnica de bebop e scat, sendo capaz de grandes improvisações, assemelhando sua voz ao som de instrumentos musicais. Durante a turnê com Gillespie, conhece e se apaixona pelo baixista Ray Brown, com quem casa e juntos adotam um filho, Ray Brown Jr. Mais tarde Ray seguiria os passos da mãe, se tornando cantor de jazz e blues. O casamento foi breve, mas mantiveram uma longa relação profissional e de amizade, que ajudou a impulsionar a carreira da cantora.