1936년 폴란드 출신의 유태인 바이올리니스트 브로니스와프 후베르만이 팔레스타인으로 망명한 뒤 결성한 '팔레스타인 관현악단' 이 시초로, 악단원 대부분이 독일에서 쫓겨난 유태인 연주자들로 구성되어 있었다. 같은 해 12월 26일에 텔아비브에서 아르투로 토스카니니의 지휘로 첫 연주회를 가졌으며, 이후 객원 지휘 체제를 유지하면서 펠릭스 바인가르트너나 세르게이 쿠세비츠키, 디미트리 미트로풀로스 등의 지휘자들을 초빙해 공연했다.

1948년 이스라엘이 건국되면서 현재의 이름으로 개칭했으며, 1957년 장 마르티농을 음악 고문으로 초빙했다. 마르티농은 1959년까지 재임했으며, 이후 다시 객원 지휘 체제로 들어가 레너드 번스타인과 주빈 메타, 게오르크 솔티, 라파엘 쿠벨릭 등의 지휘로 공연했다. 특히 번스타인은 같은 유태인 혈통이었던 이유도 있어 악단원들의 성원을 받았고, 1947년에 계관 지휘자 칭호를 수여받은 뒤 타계할 때까지 정기적으로 공연했다.

메타도 1968년부터 음악 고문 자격으로 악단을 자주 지휘하기 시작했으며, 1977년에는 창단 이후 최초로 음악 감독(이후 종신 음악 감독으로 승격) 칭호를 수여받았다. 이외에도 1992년에 명예 객원 지휘자 칭호를 받은 쿠르트 마주어도 악단과 긴밀한 관계를 유지하고 있으며, 2005년에는 요엘 레비가 수석 객원 지휘자로 임명되었다.
번스타인이 계관 지휘자를 그만 둔 이유는?
유태인 혈통