Il padre di Downey è per metà ebreo lituano, per un quarto ebreo ungherese e per un quarto irlandese, mentre la madre di Downey aveva origini scozzesi, tedesche e svizzere. Il cognome originale di Robert era Elias, che fu cambiato da suo padre per arruolarsi nell'esercito. Downey e sua sorella maggiore Allyson sono cresciuti a Greenwich Village. Da bambino Downey era "circondato da droghe". Suo padre, un tossicodipendente, permise a Downey di usare la marijuana all'età di sei anni, un padre che in seguito disse di essersi pentito di aver lasciato la carriera di attore.
Elsie Ann.