Kempf liittyi Saksan keisarilliseen armeijaan vuonna 1905; ensimmäisen maailmansodan jälkeen hän palveli Reichswehrissä ja myöhemmin Wehrmachtissa. Lokakuussa 1937 Kempf otti komennon vasta muodostetulle 4. panssari-brigadille; tammikuussa 1939 hänet ylennettiin "generaalimajooriksi". Toisen maailmansodan alussa Euroopassa hän osallistui Puolan hyökkäykseen panssari-divisioonan Kempfin komentajana, joka tunnettiin myös nimellä "Panzerverband Ostpreußen" Georg von Küchlerin johdolla. Divisioonan komentajana hän sai Fort Zakroczymin antautumisen, jota seurasi Zakroczymin verilöyly Modlinin taistelun lopussa.
- Mitä? Divisioona palasi Itä-Preussiin Puolan kampanjan lopussa, ja Kempf nimitettiin 1. kevyiden divisioiden komentajaksi, joka nimettiin uudelleen 6. panssari-divisioona, 18. lokakuuta 1939.