Komunista an saiyang ama na nagserbe sa Pranses na militar kan Rebolusyon-Oktubre, asin man musikero an saiyang ina. Nagdakula sya sa daing-gayong relihiyosong harong, narumduman nya nganing pitong taon na sya kan maaraman nyang sya palan Hudyo. Kan 1940, pighali kan rehimeng Viche French an ika-19 siglo na Crémieux Decree, kaya man namenos an mga Hudyong Algerian kan saindang legal na pagiging residente na nagresulta man kan pagkahali ni Ben sa eskwelahan na pig-aatenderan nya sa Algiers. Nag-atender man sya nin kadiit na panahon sa eskwelahang Hudyo, alagad pigtapos an saiyang edukasyon sa harong huli ta sa pagkontra kan saiyang ama sa Zionismo.