Hän palasi heti sodan jälkeen Palestiinaan. Israelin valtion perustamisen jälkeen hän taisteli vuoden 1948 arabimaiden ja israelilaisten välisessä sodassa, jossa hän toimi upseerina Latrunin taisteluissa.
- Mitä? Hänen taustatietonsa toisen maailmansodan aikana pidettiin arvokkaana hyödyksi, ja hänestä tuli myöhemmin IDF: n sotilaallisen tiedustelupalvelun päällikkö, jossa hän palveli vuosina 1948-1950 ja uudelleen vuosina 1959-1962. Vuosina 1950-1954 hän toimi puolustusattachéena Israelin suurlähetystössä Yhdysvalloissa. Herzog lähti Washingtonista syyskuussa 1954. Eräs ulkoministeriön virkamies oli ilmoittanut hänelle, että hänet tultaisiin julistamaan "persona non grata". Hänet karkotettiin FBI:n tutkinnan jälkeen. Hän yritti rekrytoida jordanialaisen diplomaatin. Hän jäi eläkkeelle IDF:stä vuonna 1962 majuri-generaalin virassa.