Ainda jovem desenvolveu um interesse pela música, particularmente pelo jazz, acostumado a ouvir Gene Austin, Rudy Vallée, Russ Columbo, Bob Eberly e fortemente influenciado por Bing Crosby. Seu tio, Domenico Sinatra [por parte de mãe], deu-lhe um ukulele em seu 15º aniversário, começando a apresentar-se nas reuniões de família. Em 1931, organizou bandas para bailes escolares. Frank saiu sem se formar, tendo comparecido a apenas 47 dias antes de ser expulso por "desordem geral". Para agradar a mãe, matriculou-se no Drake Business School, porém saiu depois de 11 meses. Trabalhou como entregador de jornal no Jersey Observer, onde seu padrinho Frank Garrick trabalhava; atuando também como rebitador em um estaleiro.
Apresentou-se em clubes sociais locais da cidade, como o The Cat's Meow e The Comedy Club, cantando gratuitamente em estações de rádio, em Jersey. Em Nova York, Sinatra conseguiu um emprego cantando em salas de jantares ou fumódromos. Para melhorar seus discursos, começou a ter aulas de elocução por um dólar, do professor de canto John Quinlan, que foi uma das primeiras pessoas a notar o alcance de seu vocal.
Sinatra começou a cantar profissionalmente na adolescência, porém nunca aprendeu a ler notas musicais. Conseguiu sua primeira pausa em 1935, quando sua mãe convenceu um grupo de canto da região — 3 Flashes — a deixá-lo participar. Fred Tamburro, o barítono do grupo, afirmou que "Frank pairava ao nosso redor como se fôssemos deuses ou algo assim", admitindo que os membros só o aceitaram porque ele possuía um carro e poderia levar o grupo nos lugares. Sinatra logo soube que eles estavam fazendo testes para o Major Bowes Amateur Hour, "implorando" que o grupo o deixasse entrar no ato. Com Sinatra no grupo, tornaram-se conhecidos como o Quarteto Hoboken, passando por um teste de audição com Edward Bowes, a aparecerem no programa. Ganhando 12,50 dólares [cada] pela aparição, obtiveram 40 mil votos, rendendo-lhes o primeiro prêmio: um contrato de seis meses para se apresentarem no palco e na rádio americana. Frank rapidamente tornou-se o vocalista do grupo e, para a inveja de seus colegas, atraiu a maior parte das atenções femininas. Devido ao sucesso do grupo, Bowes continuou a pedir para que eles retornassem disfarçados sob diferentes pseudônimos, variando entre os nomes "The Seacaucus Cockamamies" e "The Bayonne Bacalas".
Em 1938, Frank trabalhou como garçom e cantor em um roadhouse — restaurante ou bar à beira da estrada — chamado The Rustic Cabin, localizado em Englewood Cliffs, Nova Jersey; pela qual ele recebia 15 dólares por semana. O bar logo foi sintonizado à estação de rádio WNEW de Nova York, com ele começando a apresentar-se junto a um grupo ao vivo durante o desfile Dance Parade. Apesar do baixo salário, ele percebeu que esta era uma oportunidade, chegando a gabar-se aos amigos de que ele iria "se tornar tão grande que ninguém poderia ao menos tocá-lo". Em março de 1939, o saxofonista Frank Mane, que já o conhecia da rádio WAAT de Jersey City — onde ambos tocavam em transmissões ao vivo — preparou uma audição para Sinatra gravar a canção "Our Love", sendo sua primeira gravação em estúdio solo. Em junho de 1939, Harry James, que tinha ouvido Sinatra cantar em Dance Parade, assinou com ele um contrato de dois anos, uma noite após um show no Teatro Paramount, em Nova York. Pela banda de James foi que o músico conseguiu lançar "From the Bottom of My Heart", em julho daquele ano. Vendendo um pouco menos de oito mil cópias, outros registros foram lançados com James até 1939, como a música "All or Nothing at All", chegando a ter poucas vendas inicialmente. Graças aos treinos de canto, pôde cantar dois tons acima, desenvolvendo um repertório que incluía as canções "My Buddy", "Willow Weep for Me", "It's Funny to Everyone But Me", "Here Comes the Night", "On a Little Street in Singapore", "Ciribiribin" e "Every Day of My Life".