Des dels primers segles dC, la majoria dels jueus han viscut fora de la zona comunament coneguda com a Palestina, després de la destrucció del Segon Temple i la massacre dels jueus a Jerusalem. Dels 600.000 (Tacit) o 1.000.000 (Josefus) jueus de Jerusalem, tots ells van morir de fam, van ser assassinats o van ser venuts com a esclaus. S'ha atestat una presència minoritària de jueus durant gairebé tot el període. Per exemple, segons la tradició, la comunitat jueva de Peki'in ha mantingut una presència jueva des del període del Segon Temple. Segons el Tanakh, Déu havia assignat Canaan als jueus com a Terra Prometida, una creença conservada també en la Septuaginta i en la tradició cristiana i islàmica. La diàspora va començar el 586 aC durant l'ocupació babilònica d'Israel. Els babilonis van destruir el Primer Temple, que era el centre de la cultura jueva d'aquell temps. Després de la Gran Revolta del segle I
i la revolta de Bar Kokhba del segle II, l'Imperi Romà va prohibir als jueus de Jerusalem i va anomenar el territori "Syria Palaestina".