Scrivi una continuazione per questo paragrafo - Subito dopo la guerra, è tornato in Palestina. Dopo la creazione dello Stato di Israele, combatté nella guerra arabo-israeliana del 1948, servendo come ufficiale nelle battaglie per Latrun.
- No, no. La sua esperienza nell'intelligence durante la seconda guerra mondiale fu vista come una risorsa preziosa, e successivamente divenne capo del ramo dell'intelligence militare dell'IDF, una posizione in cui prestò servizio dal 1948 al 1950 e di nuovo dal 1959 al 1962. Dal 1950 al 1954, è stato attaché alla difesa presso l'ambasciata israeliana negli Stati Uniti. Herzog lasciò Washington nel settembre del 1954. Un funzionario del Dipartimento di Stato l'aveva informato che stava per essere dichiarato "persona non grata". La decisione di espellerlo era stata presa dopo un'indagine dell'FBI sul suo tentativo di reclutare un diplomatico giordano. Si ritirò dall'IDF nel 1962 con il grado di maggiore generale.