Klemperer nació en Colonia (Alemaña) nel senu d'una familia dedicada a la música. Los sos padres yeren Otto Klemperer, renombráu direutor d'orquesta, y Johanna Geisler, una sopranu. Amás, yera primu de Victor Klemperer.