Completa la següent frase: Kempf es va unir a l'Exèrcit Imperial Alemany el 1905; després de la Primera Guerra Mundial, va servir a la "Reichswehr" i més tard a la "Wehrmacht". A l'octubre de 1937 Kempf va prendre el comandament de la recentment formada 4a Brigada Panzer; al gener de 1939 va ser ascendit a "Generalmajor". Al començament de la Segona Guerra Mundial a Europa, va participar en la invasió de Polònia com a comandant de la Divisió Panzer Kempf, que també era coneguda com el "Panzerverband Ostpreußen" (Grup Panzer Prússia Oriental) del 3r Exèrcit sota Georg von Küchler. Com a comandant de divisió, va rebre la capitulació de Fort Zakroczym, que va ser seguida per la Massacre de Zakroczym, al final de la Guerra de la Independència de Polònia.
Batalla de Modlin. La divisió va tornar a Prússia Oriental al final de la campanya de Polònia, i Kempf va ser nomenat comandant de la 1a Divisió Lleugera, rebauditada com a 6a Divisió Panzer, el 18 d'octubre de 1939.