Cha của Downey là một nửa người Lithuania Do Thái, một phần tư người Hungary Do Thái và một phần tư người Ireland, trong khi mẹ của Downey có tổ tiên người Scotland, Đức và Thụy Sĩ. Tên họ ban đầu của Robert là Elias được cha mình thay đổi để gia nhập quân đội. Downey và chị gái Allyson lớn lên ở Greenwich Village. Khi còn nhỏ, Downey "được bao quanh bởi ma túy". Cha anh, một người nghiện ma túy, cho phép Downey sử dụng cần sa ở tuổi sáu, một người cha sau đó nói rằng ông đã hối tiếc về sự nghiệp diễn xuất của Downey. Cha của Downey là một nửa người Do Thái Lithuania, một phần tư người Do Thái Hungary và một phần tư người gốc Ailen, trong khi mẹ của Downey có tổ tiên người Scotland, Đức và Thụy Sĩ.
Elsie Ann