1905ean Alemaniako Armada Inperialean sartu zen. Lehen Mundu Gerraren ondoren Reichswehr armadan zerbitzatu zuen eta geroago Wehrmacht armadan. 1937ko urrian, Kempfek 4. Panzer Brigadaren agintea hartu zuen; 1939ko urtarrilean "Generalmajor" izendatu zuten. Bigarren Mundu Gerraren hasieran, Poloniako inbasioan parte hartu zuen Kempf Panzer Dibisioko komandante gisa, Georg von Küchlerren 3. Armadako "Panzerverband Ostpreußen" (Panzer Group East Prussia) izenarekin ere ezaguna zena. Dibisioko komandante gisa, Zakroczym gotorlekuaren kapitulazioa jaso zuen, eta ondoren Zakroczymeko sarraskia, Modlineko gudaren amaieran.
-Ez da izango. Dibisioa Ekialdeko Prusiara itzuli zen Poloniako kanpainaren amaieran, eta Kempf 1. Arin Dibisioko komandante izendatu zuten, 6. Panzer Dibisioa izendatu zuten, 1939ko urriaren 18an.