Foster ye un actor xudíu, fíu de Stephen Foster, quien ye dueñu d'un restorán, y tien un hermanu más nuevu, Jon Foster, que tamién ye actor. La so güela paterna emigró de Rusia pa escapar a los pogromos. Los padres de Foster, a quien él describe como «hippies d'espíritu llibre y opositores de la guerra de Vietnam», camudar al pequeñu pueblu de Fairfield, Iowa, cuando Ben tenía cuatro años, depués de que la so casa en Boston fuera robada mientres la familia taba presente.