Hän ja hänen sisarensa Letty (s. 1943) kasvoivat Midwoodissa, Brooklynissa. Hän on Woody Allenin (syntynyt 8. marraskuuta 1906 - 27. tammikuuta 2002), kirjanpitäjän ja Martin Konigsbergin (25. joulukuuta 1900 - 8. tammikuuta 2001), koruiden kaivertajan ja tarjoilijan poika. Hänen perheensä oli juutalainen, ja hänen isovanhempansa muuttivat Yhdysvaltoihin Venäjältä ja Itävallasta ja puhuivat yiddistä, hepreaa ja saksaa.
17- vuotias