Kempf es va unir a l'Exèrcit Imperial Alemany el 1905; després de la Primera Guerra Mundial, va servir en el "Reichswehr" i més tard en el "Wehrmacht". A l'octubre de 1937 Kempf va prendre el comandament de la recentment formada 4a Brigada Panzer; al gener de 1939 va ser ascendit a "Generalmajor". Al començament de la Segona Guerra Mundial a Europa, va participar en la invasió de Polònia com a comandant de la Divisió Panzer Kempf, que també era coneguda com el "Panzerverband Ostpreußen" (Grup Panzer Prússia Oriental) del 3r Exèrcit sota Georg von Küchler. Com a comandant de divisió, va rebre la capitulació de Fort Zakroczym, que va ser seguida per la Massacre de Zakroczym, a la conclusió de la Batalla de Modlin
- No. La divisió va tornar a Prússia Oriental al final de la campanya de Polònia, i Kempf va ser nomenat comandant de la 1a Divisió Lleugera, rebauditada com a 6a Divisió Panzer, el 18 d'octubre de 1939.