С восшествием же на престол благочестивого царя Иосия (Иошияу) в 662 г. до н. э. были ликвидированы все языческие культы, разрушены алтари в культовых центрах северных колен, и Иерусалимский храм был окончательно превращен в национально-религиозный центр.

В 598 г. до н. э., при царе Иехонии Навуходоносор захватил Иерусалим и «вывез все сокровища дома Господня… и изломал… все золотые сосуды, которые Соломон, царь Израилев, сделал в храме Господнем».

После того как Седекия (Цедкияу) объявил отделение Иудеи от Вавилона, вавилоняне под предводительством Навузардана в 586 г. до н. э. захватили Иерусалим вновь и на этот раз полностью разрушили Храм Соломона до самого основания. Большинство жителей Иерусалима были убиты, оставшиеся взяты в плен и угнаны в рабство в Вавилонию. Ковчег Завета был при этом утерян.

В 538 г. до н. э., после завоевания Вавилонии, персидский царь Кир Великий издал декрет, разрешавший изгнанникам возвратиться в Иудею и восстановить Иерусалимский храм, разрушенный вавилонским царем

Навуходоносором. Вероятно, Киром руководило при этом политическое соображение, что на границе Египта стоит иметь расположенный к персам народ.

Вскоре, однако, возникли распри между иудеями и самаритянами, которым не было позволено принять участие в строительстве, и они стали всячески препятствовать восстановлению Иерусалимского храма. В результате строительство Храма было прервано на 15 лет. Только во втором году царствования Дария I Гистаспа (520 г. до н. э.), под влиянием речей пророков Аггея (Хаггая) и Захарии, строительство храма возобновилось. Дарий лично подтвердил декрет Кира и санкционировал продолжение работ. Как и раньше, расходы на строительство, как и на регулярные жертвоприношения за благополучие царя и его близких, покрывались из царской казны, а препятствующие восстановлению храма должны были караться смертью.

Около 333 г. до н. э. Иерусалим и вся Иудея без сопротивления покоряются Александру Македонскому, который подтверждает привилегии, данные городу персидскими правителями. Вскоре во время войн диадохов после смерти Александра Иерусалим был захвачен и частично разрушен правителем Египта Птолемеем I Сотером, установившим контроль над Иудеей.

Антиох IV Эпифан в 169 г. до н. э. на обратном пути из Египта вторгся в Иерусалиме на территорию храма и конфисковал драгоценные храмовые сосуды. Два года спустя он осквернил его, поставив на жертвенник всесожжения небольшой алтарь Зевса Олимпийского. Храмовая служба была прервана на три года и возобновлена после захвата Иерусалима Иудой (Иехудой) Маккавеем (164 г. до н. э.) во время восстания Маккавеев (167–163 гг. до н. э.). Греческие завоеватели были изгнаны из страны. Воцарилась династия Хасмонеев.