Em 1929, Noel arriscou as suas primeiras composições, Minha Viola e Festa no Céu, ambas gravadas por ele mesmo. Mas foi em 1930 que o sucesso chegou, com o lançamento de Com que roupa?, um samba bem-humorado que sobreviveu décadas e hoje é um clássico do cancioneiro brasileiro. Esta canção surgiu de um episódio em que queria sair com os amigos, mas sua mãe não deixou e escondeu suas roupas. Ele, então com pressa, perguntou: "Com que roupa eu vou?"
Noel revelou-se um talentoso cronista do cotidiano, com uma sequência de canções que primam pelo humor e pela veia crítica. Orestes Barbosa, exímio poeta da canção, seu parceiro em Positivismo, o considerava o "rei das letras". Noel também foi protagonista de uma curiosa polêmica (Noel Rosa X Wilson Batista) travada através de canções com seu rival Wilson Batista. Os dois compositores atacaram-se mutuamente em sambas agressivos e bem-humorados, que renderam bons frutos para a música brasileira, incluindo clássicos de Noel como Feitiço da Vila e Palpite Infeliz. Entre os intérpretes que passaram a cantar seus sambas, destacam-se Mário Reis, Francisco Alves e Aracy de Almeida.