Com o nome de batismo Elliot Rabinowitz, ele nasceu no Bronx, Nova York (EUA) em 22 de fevereiro de 1943, e pensava inicialmente em ser ator, até que arrumou um emprego na já citada William Morris. Lá, conheceu outro aspirante à fama empresarial, David Geffen, e tornou-se seu sócio na tarefa de empresariar artistas. Para isso, ele se mudou para Los Angeles junto com sua aposta, Joni, e o namorado famoso dela na época, um certo David Crosby.