Ben-Zvi fu attivo nelle unità di autodifesa ebraiche organizzate in Ucraina per difendere gli ebrei durante i pogrom del 1905 e si unì al partito politico sionista Poale. Emigrò in Palestina nel 1907, stabilendosi a Giaffa, e più tardi nello stesso anno fu un rappresentante nel Congresso sionista all'Aia. Fu lì che incontrò per la prima volta Israel Shochat. "Bar-Giora", il precursore clandestino di Hashomer, fu creato nel suo appartamento nel 1907. Nel 1909, organizzò il liceo Gymnasia Rehavia nel quartiere Bukharim di Gerusalemme insieme a Rachel Yanait. Domanda: chi lo aiutò con l'organizzazione?
Rachel Yanait