Choltitz syntyi aristokraattiseen Preussin perheeseen, jolla on pitkä historia sotilaallisesta palveluksesta. Choltitz liittyi armeijaan nuorena ja palveli Länsi-Rintamalla ensimmäisen maailmansodan aikana (1914-1918). Hän nousi sotilasluokkaan luutnanttina sodan loppuun mennessä ja toimi aktiivisesti sodanvälisenä aikana auttaen Saksaa rakentamaan asevoimansa uudelleen. Syyskuussa 1939, Puolan hyökkäyksen aikana toisen maailmansodan alussa, hän palveli Gerd von Rundstedtin armeijaryhmässä Etelä. Toukokuussa 1940 Choltitz osallistui Rotterdamin taisteluun.
He laskeutuivat ja valtasivat kaupungin sillat.