耶路撒冷旧城的历史可以溯源到3000年前的大卫王时代，当时这里是犹太国的首都。公元前960年左右，大卫王的儿子所罗门王在耶路撒冷建造了著名的所罗门神殿，此后的四个世纪也被称为第一圣殿时期。耶路撒冷自然就成为了犹太人的圣地。
到了公元前586年，新巴比伦王国的尼布甲尼撒二世攻打犹太国，在围攻了耶路撒冷18个月后，终于破城并灭亡了犹太国。然后他拆毁了所罗门神殿，将耶路撒冷的全部臣民虏到了巴比伦城囚禁起来，这件事史称巴比伦之囚。
70年后，波斯帝国的一代英主居鲁士大帝灭亡了新巴比伦王国。为了赢得民心，他允许犹太人回到耶路撒冷生活。犹太人回到故园，重建了圣殿，这就开启了第二圣殿时代。
不过这时的犹太国并非一个独立的国家，而是先后作为波斯帝国、亚历山大帝国和后来罗马帝国的行省。不过这些帝国的统治比较松散，除了会给当地派一个总督，并不太干涉当地的事务，特别是宗教事务。但犹太人一直不服从罗马统治，经常起义造反。
到了公元70年，罗马人攻陷耶路撒冷，拆毁了犹太人重建起来的神殿，只剩下西面一堵墙的残垣断壁。耶路撒冷就此荒废了一百多年。之后，另一个罗马皇帝哈德良重建了耶路撒冷城，但为了惩罚犹太人，哈德良铲平了耶路撒冷原来的建筑，在原址上重建了一座新的罗马城市，还在原本犹太人神殿的地址新建了罗马神庙，并且禁止犹太人进入耶路撒冷城。犹太人从此丧失了故土，在世界上四处流浪。
