O templo erigido pelos exilados em seu retorno da Babilônia estivera de pé por cerca de quinhentos anos quando Herodes, o Grande, tornou-se rei da Judeia. A edificação sofrera consideravelmente tanto com a deterioração natural quanto com os ataques de exércitos hostis, e Herodes, desejoso de conquistar o favor dos judeus, propôs reconstruí-lo. Esta oferta foi aceita, e a obra foi iniciada (18 a.C.), sendo executada com grande esforço e despesa, e em uma escala de esplendor surpreendente. A parte principal da edificação foi concluída em dez anos, mas a ereção dos pátios externos e o embelezamento do conjunto prosseguiram durante todo o período da vida de nosso Senhor na terra (João 2:16, 19-21), e o templo foi concluído apenas em 65 d.C. Mas não lhe foi permitido existir por muito tempo. Em menos de quarenta anos após a crucificação de nosso Senhor, sua predição sobre a sua queda se cumpriu (Lucas 19:41-44). As legiões romanas tomaram a cidade de Jerusalém por assalto e, apesar dos esforços árduos que Tito fez para preservar o templo, seus soldados atearam fogo a ele em diversos pontos, e este foi completamente destruído (70 d.C.), nunca tendo sido reconstruído.
Diversos vestígios do majestoso templo de Herodes foram trazidos à luz por explorações recentes. Ele possuía dois átrios, um destinado apenas aos israelitas e o outro, um grande átrio externo, chamado "o átrio dos gentios", destinado ao uso de estrangeiros de todas as nações. Esses dois átrios eram separados por um muro baixo, como afirma Josefo, de aproximadamente 4 pés e meio de altura, com treze aberturas. Ao longo do topo deste muro divisor, em intervalos regulares, foram colocados pilares contendo, em grego, uma inscrição no sentido de que nenhum estrangeiro deveria, sob pena de morte, passar do átrio dos gentios para o dos judeus. Na entrada de um cemitério no ângulo noroeste do muro do Haram, uma pedra foi descoberta por M. Ganneau em 1871, encravada no muro, ostentando a seguinte inscrição em letras maiúsculas gregas: "Nenhum estrangeiro deve entrar além do muro de partição e do recinto ao redor do santuário. Quem for pego será responsável por sua própria morte, que se seguirá."
Não pode haver dúvida de que a pedra assim descoberta era uma daquelas originalmente colocadas no muro de fronteira que separava os judeus dos gentios, do qual Josefo fala.
É importante notar que a palavra vertida como "santuário" na inscrição foi usada no sentido específico do pátio interno, o pátio dos israelitas, e é a palavra vertida como "templo" em João 2:15 e Atos 21:28, 29. Quando Paulo fala do muro mediano de separação (Ef 2:14), ele provavelmente faz alusão a este muro divisor. Dentro deste muro de separação situava-se o templo propriamente dito, consistindo em: (1) o pátio das mulheres, 8 pés mais alto que o pátio externo; (2) 10 pés acima deste pátio estava o pátio de Israel; (3) o pátio dos sacerdotes, novamente 3 pés mais alto; e, por último, (4) o piso do templo, 8 pés acima disso; totalizando, portanto, 29 pés acima do nível do pátio externo.
O cume do Monte Moriá, onde se erguia o templo, é agora ocupado pelo Haram esh-Sherif, isto é, "o recinto sagrado". Este recinto possui cerca de 1.500 pés de norte a sul, com uma largura de aproximadamente 1.000 pés, abrangendo, no total, uma área de cerca de 35 acres. Próximo ao centro do recinto há uma plataforma elevada, 16 pés acima do espaço circundante, e pavimentada com grandes lajes de pedra, sobre a qual se ergue a mesquita muçulmana chamada Kubbet es-Sahkra, isto é, a "Cúpula da Rocha", ou a Mesquita de Omar. Esta mesquita cobre o local do templo de Salomão. No centro da cúpula há uma rocha nua e saliente, a parte mais alta do Moriá (q.v.), medindo 60 por 40 pés, elevando-se 6 pés acima do piso da mesquita, chamada de sahkra, isto é, "rocha". Sobre esta rocha situava-se o altar dos holocaustos. Era a eira de Arauna, o jebuseu. A posição exata que o templo ocupava neste "recinto sagrado" ainda não foi definitivamente estabelecida. Alguns afirmam que o templo de Herodes cobria o local do templo e do palácio de Salomão e, além disso, abrangia um quadrado de 300 pés no ângulo sudoeste. Supõe-se, portanto, que os pátios do templo tenham ocupado a porção sul do "recinto", formando, no total, um quadrado de mais de 900 pés. Outros argumentam que o templo de Herodes ocupava um quadrado de 600 pés ao sudoeste do "recinto".