Rugadh Penzias i München, an Ghearmáin, mac Justine (née Eisenreich) agus Karl Penzias, a bhí ag rith gnó leathair. Tháinig a sheantuismitheoirí go München ó an Pholainn agus bhí siad i measc cheannairí Reichenbach Strasse Shul. Ag aois sé, bhí sé féin agus a dheartháir Gunther i measc na leanaí Giúdacha a eisiataíodh go Sasana mar chuid den oibríocht tarrthála Kindertransport.
Ardscoil Theicniúil Brooklyn