Em São Paulo iniciou sua carreira de ator, fazendo uso da experiência de sua breve carreira nos picadeiros circenses, e trabalhou no rádio de 1941 a 1951. Em 1946 já trabalhava na Radio Record e representava dezesseis personagens em seu programa. Muitos dos seus personagens figurariam mais tarde nas suas canções. Adoniran Barbosa era um desses personagens, que João Rufino aproveitou para apresentar-se publicamente como compositor e intérprete das próprias canções. O nome foi adotado no ano de 1935, em homenagem aos seus amigos Adoniran Alves e Luís Barbosa.
Nesse mesmo ano, ganhou o concurso carnavalesco da prefeitura de São Paulo, com uma parceria com Jota Aimberê, a marchinha “Dona Boa”. O dinheiro do prêmio foi gasto na comemoração com os amigos, algo que ele repetiria muitas vezes ao longo da vida. A marchinha “Dona Boa” foi a primeira composição de Adoniran a ser gravada, na Columbia, por Raul Torres.
Ele era um verdadeiro cronista urbano, um contador de histórias da modernidade que viveu. Os personagens de suas canções eram inspirados em gente simples do povo, trabalhadores comuns e pessoas que viviam em condições precárias no bairro do Bixiga, nas antigas malocas locais.
Sua canção “Iracema”, por exemplo, era inspirada na notícia de uma mulher que foi atropelada na Avenida São João, no centro de São Paulo: