Kempf liittyi Saksan keisarilliseen armeijaan vuonna 1905. Ensimmäisen maailmansodan jälkeen hän palveli Reichswehrissä ja myöhemmin Wehrmachtissa. Lokakuussa 1937 Kempf otti komennon vasta muodostetulle 4. panssari-brigadille; tammikuussa 1939 hänet ylennettiin "generaalimaajoriksi". Toisen maailmansodan alussa Euroopassa hän osallistui Puolan hyökkäykseen panssari-divisioonan Kempfin komentajana, joka tunnettiin myös nimellä "Panzerverband Ostpreußen" Georg von Küchlerin johdolla. Divisioonan komentajana hän sai Fort Zakroczymin antautumisen, jota seurasi Zakroczymin verilöyly, sodan lopussa.
Modlinin taistelu. Divisioona palasi Itä-Preussiin Puolan kampanjan lopussa, ja Kempf nimitettiin 1. kevyiden divisioiden komentajaksi, joka nimettiin uudelleen 6. panssari-divisioona, 18. lokakuuta 1939.