Após a morte de Herodes, o domínio romano tornou-se um governo altamente opressivo que levou a um novo surto de rebelião judaica (ano 66).
Por alguns anos Jerusalém esteve livre do domínio estrangeiro, até que, em 70, legiões romanas de Tito conquistaram a cidade e destruíram o templo. A independência judaica foi restaurada durante a revolta de Bar Kochba, mas por um breve período (132-135), derrotando os romanos novamente. Sob o domínio desse império, a cidade foi renomeada Aelia Capitolina e reconstruída de acordo com os padrões de uma cidade romana. Eles também proibiram os judeus de entrarem na cidade. Jerusalém era uma pequena cidade provinciana.
Isso mudou radicalmente quando o imperador bizantino Constantino tornou-se um centro de Christian. A Igreja do Santo Sepulcro (335) foi o primeiro de uma série de grandes edifícios que foram construídos na cidade. Em 634, os muçulmanos invadiram o país e quatro anos mais tarde califa Omar conquistou Jerusalém. Durante o reinado de Abd al-Malik, que construiu o Domo da Rocha (691), Jerusalém tornou-se, por um curto período, a sede de um califa.
Os cruzados conquistaram-na em 1099, massacraram seus habitantes muçulmanos e judeus e estabeleceu-se nesta cidade a capital do seu reino.
Sob o domínio dos cruzados, sinagogas foram destruídas, velhas igrejas foram reconstruídas e muitas mesquitas foram transformadas em igrejas cristãs.
Em 1187, a cidade foi conquistada por Saladino, o curdo. Os mamelucos, uma aristocracia feudal militar do Egito, governou Jerusalém, desde 1250. Eles construíram vários edifícios, mas tentaram fazer de Jerusalém um centro teológico muçulmano, minando a sua economia com pesados ​​impostos. Os turcos otomanos, cujo domínio durou quatro séculos, conquistaram Jerusalém em 1517.
Suleiman, o Magnífico reconstruído os muros da cidade (1537), ele construiu a piscina do sultão e instalou fontes públicas de água potável. Após sua morte, as autoridades centrais de Constantinopla expressaram pouco interesse por Jerusalém, de modo que durante os séculos XVII e XVIII, a cidade atingiu os seus declínios mais profundos.
Jerusalém começou a florescer novamente na segunda metade do século XIX. O crescente número de judeus que retornaram à sua terra, o declínio do poder otomano e o interesse europeu de revitalizar a Terra Santa, levou ao desenvolvimento e renovação da cidade.
Entre 1922 e 1948 foi a sede administrativa das autoridades britânicas na Terra de Israel (Palestina), que foi confiada à Grã-Bretanha pela Liga das Nações. A cidade desenvolveu-se rapidamente, crescendo para o oeste no que ficou conhecido como o "New City".
No fim do Mandato Britânico em 14 de maio de 1948, e de acordo com a resolução das Nações Unidas em 29 novembro de 1947, Israel estabeleceu a sua independência, com Jerusalém como sua capital.
Opondo-se a sua criação, os países árabes atacaram o novo estado, iniciando em 1948-1949 a Guerra da Independência.
O setor ocidental que estava nas mãos de Israel, enquanto o leste (Cidade Velha) e algumas áreas do norte e sul, nas mãos da Jordânia.
O governo da Jordânia proibiu israelenses de terem acesso ao Muro das Lamentações e ao Templo do Monte.
Em junho de 1967, após a Guerra dos Seis Dias, Jerusalém foi reunificada. O Bairro Judeu, na Cidade Velha, que foi destruído sob o governo jordaniano, foi restaurado.