Penzias è nato a Monaco di Baviera, Germania, figlio di Justine (nata Eisenreich) e Karl Penzias, che gestiva un'attività di pelletteria. I suoi nonni erano venuti a Monaco dalla Polonia e erano tra i leader della Reichenbach Strasse Shul. All'età di sei anni, lui e suo fratello Gunther erano tra i bambini ebrei evacuati in Gran Bretagna come parte dell'operazione di salvataggio Kindertransport. Qualche tempo dopo, anche i suoi genitori fuggirono dalla Germania nazista per gli Stati Uniti, e la famiglia si stabilì nel Garment District di New York City nel 1940. Nel 1946, Penzias divenne un cittadino naturalizzato degli Stati Uniti.
Scuola superiore tecnica di Brooklyn