Khalid successivamente si mosse contro le tribù arabe in gran parte cristiane e le guarnigioni persiane sassanide della valle dell'Eufrate in Iraq. Fu riassegnato da Abu Bakr per comandare gli eserciti musulmani in Siria e condusse i suoi uomini in una marcia non convenzionale attraverso un lungo tratto senza acqua del deserto siriano, aumentando la sua reputazione di stratega militare. Come risultato di vittorie decisive contro i bizantini ad Ajnadayn (634), Fahl (634), Damasco
(634<unk>635) e Yarmouk (636), i musulmani sotto Khalid conquistarono gran parte della Siria. Successivamente fu degradato dall'alto comando da Umar per una serie di cause citate dalle fonti islamiche tradizionali e moderne. Khalid continuò a servire come luogotenente chiave del suo successore Abu Ubayda ibn al-Jarrah negli assedi di Homs e Aleppo e nella battaglia di Qinnasrin, il tutto nel 637-638, che precipitò collettivamente la ritirata dalla Siria delle truppe imperiali bizantine sotto l'imperatore Eraclio. Umar licenziò Khalid dal suo governatorato di Qinnasrin in seguito e morì a Medina o Homs nel 642.