Durant la période cananéenne qui s'étend de 3150 à 1200 av. J.C., le pays est occupé par une population cananéenne où le culte de Baal est vivace. C'est vers le 14ème siècle que se situe la rencontre entre Abram et le roi de Salem Melchisédech, rapportée dans la Genèse au chapitre 14, vv 18-20. 

Sous les successeurs de Ramsès II, l'Égypte perd  le contrôle de la région. Les peuples de la mer (les Philistins qui donneront leur nom à la Palestine) envahissent la côte et les Hébreux s'installent sur les collines. Le culte des Baals conserve encore des adeptes jusqu'au début du 8ème siècle av. J.C. Les démêlés des Hébreux avec les Philistins et les combats des prophètes de Yahvé contre les Baals marquent les récits bibliques relatifs à cette époque.

En 923, le pharaon Shéshonq envahit la Palestine, conquiert Jérusalem et Megiddo. 

Le royaume d'Israël où se sont succédé neuf dynasties, disparaît en 722 après sa conquête par Sargon II, roi d'Assyrie. Sa population est déportée et les étrangers qui s'installent dans le pays, l'ouvrent au syncrétisme religieux.

Le royaume de Juda, après avoir résisté sous le roi Ezéchias, est à son tour conquis par Nabuchodonosor sous le roi Joiakin. Celui-ci est déporté  Babylone avec une partie de la population et son oncle Sédécias est placé sur le trône. Après la révolte de ce dernier en 588, le temple de Jérusalem est détruit en 586 et une seconde vague de déportation vide la ville de ses habitants. 

En 333, l'invasion de l'empire perse par Alexandre le Grand ouvre pour les deux anciens royaumes la période hellénistique. A la mort d'Alexandre, après un épisode sous l'hégémonie des Ptolémées d'Égypte jusqu'en 198, le pays passe aux mains des Séleucides et s'ouvre à l'hellénisme.

Le roi Antiochus IV Épiphane (175 - 163 av. J.-C.) interdit le culte juif et instaure les cultes païens dans le Temple (l'abomination de la désolation !). Ces mesures provoque la révolte des Maccabées qui libèrent Jérusalem et purifient le Temple. Une période de 80 années d'indépendance s'ouvre sous la dynastie des Asmonéens.

Prenant prétexte des querelles opposant les héritiers d'Alexandre Jannée, Pompée alors gouverneur de la province d'Asie s'empare de Jérusalem en 63 av. J.-C. Des Asmonéens continuent à régner sur la Judée sous contrôle des Romains.

A la suite d'intrigues menées à Rome, Hérode héritier d'une famille d'Idumée qui avait assumé des fonctions de gouverneur en Galilée et à Jérusalem, s'y fait proclamer roi de Judée. Il réussit à bouter les Parthes hors de Palestine et met le siège devant Jérusalem qu'il enlève au bout de cinq mois. Le dernier des Asmonéens, Antigonos, est mis à mort. Hérode le Grand s'assied sur le trône qu'il occupera 
de 37 à 4 av. J.-C. Pendant son règne, il construit l'Hérodium, Massada et le nouveau Temple commencé en 19. Bien que Juif en théorie, il ne fut jamais apprécié par ses compatriotes qui voyaient en lui un vassal de Rome.

A la mort d'Hérode, son fils Archélaüs à qui échoit la Judée, ne règne que dix ans avant d'être envoyé en exil. Après lui, les Romains administrent directement la Judée par l'intermédiaire d'un procurateur relevant de l'empereur.

En 129, l'empereur Hadrien entreprend la reconstruction de la ville sous le nom de Aelia Capitolina. Il donne un nouveau nom à la province de Judée qui s'appelle désormais Palestine. La seconde révolte juive de Bar Kohba qui se présente comme le Messie, éclate en 132. La répression entraîne des milliers de morts et une seconde diaspora.

En 638, Jérusalem se rend au calife Omar. Les Arabes tolèrent le culte chrétien. En 1098, ce sont les Fatimides d'Égypte qui sont les maîtres de Jérusalem.

Le 15 juillet 1099, les Croisés s'emparent de Jérusalem et passent au fil de l'épée tout ce qui n'est pas chrétien. Le royaume latin de Jérusalem subsiste jusqu'en 1187 (victoire de Saladin aux cornes de Hattin). Brièvement restauré suite à une négociation menée par Frédéric II en 1228, le royaume de Jérusalem est définitivement perdu pour les Croisés en 1244.

A partir de cette époque, les Mamelouks (esclaves originaires des steppes d'Asie et introduits en Égypte) envahissent la Palestine et s'emparent de Jérusalem. Leur pouvoir dure jusqu'en 1517, date de la conquête ottomane. Sous le règne du sultan Soliman, Jérusalem connaît une période d'expansion: sa muraille et ses portes sont restaurées. L'arrivée des Juifs expulsés d'Espagne aux  15e et 16e siècles apporte à la communauté juive de Jérusalem un élan de renouveau.

Au 19e siècle, sous les règnes de Mehmet Ali et d'Ibrahim Pacha, gouverneurs pour l'Égypte, la Palestine s'ouvre au monde. Le 9 décembre 1917, Jérusalem se rend aux troupes britanniques du général Allenby. Le mandat britannique mis en place en juillet 1920,
prend fin en 1948: le coeur de la ville de Jérusalem est coupé en deux, la ville arabe à l'est, la ville juive à l'ouest.