Penzias sinh ra ở Munich, Đức, con trai của Justine (née Eisenreich) và Karl Penzias, người điều hành một doanh nghiệp da. Ông bà của ông đã đến Munich từ Ba Lan và là một trong những nhà lãnh đạo của Reichenbach Strasse Shul. Ở tuổi sáu, ông và anh trai Gunther là một trong những đứa trẻ Do Thái được sơ tán đến Anh như một phần của hoạt động cứu hộ Kindertransport. Một thời gian sau đó, cha mẹ ông cũng trốn khỏi Đức Quốc xã sang Hoa Kỳ, và gia đình định cư tại Quận Garment của thành phố New York vào năm 1940. Năm 1946, Penzias trở thành công dân nhập tịch của Hoa Kỳ. Ông tốt nghiệp Trường Trung học Kỹ thuật Brooklyn vào năm 1951 và sau khi đăng ký học hóa học tại Đại học Thành phố New York, ông thay đổi chuyên ngành và tốt nghiệp năm 1954 với bằng vật lý, xếp hạng gần hàng đầu trong lớp của mình.
Trường trung học kỹ thuật Brooklyn