Após o retorno do cativeiro, sob Zorobabel (q.v.) e o sumo sacerdote Jesua, providências foram tomadas quase imediatamente para reorganizar o reino longamente desolado. O grupo de peregrinos, formando um bando de 42.360 pessoas, incluindo crianças, tendo completado a longa e árdua jornada de cerca de quatro meses, das margens do Eufrates a Jerusalém, foram animados em todos os seus procedimentos por um forte impulso religioso e, portanto, uma de suas primeiras preocupações foi restaurar seu antigo culto através da reconstrução do templo. Ao convite de Zorobabel, o governador, que lhes deu um exemplo notável de liberalidade ao contribuir pessoalmente com 1.000 dáricos de ouro (provavelmente cerca de $6.000), além de outros presentes, o povo, com grande entusiasmo, verteu suas ofertas no tesouro sagrado (Esdras 2). Primeiro, ergueram e dedicaram o altar de Jeová no local exato onde anteriormente estivera, e então removeram os montes carbonizados de escombros que ocupavam o local do antigo templo; e no segundo mês do segundo ano (535 a.C.), em meio a grande excitação e regozijo público (Sl. 116; 117; 118), foram lançados os alicerces do segundo templo. Um amplo interesse foi sentido neste grande movimento, embora tenha sido visto com sentimentos mistos pelos espectadores (Ag. 2:3; Zac. 4:10). Os samaritanos fizeram propostas de cooperação na obra. Zorobabel, Jesua e os anciãos, porém, recusaram toda e qualquer cooperação: Judá deveria construir o templo sem ajuda. Imediatamente, relatórios maldosos foram espalhados a respeito dos judeus. Os samaritanos buscaram "frustrar seus propósitos" (Esdras 4:5) e enviaram mensageiros a Ecbatana e Susa, resultando na suspensão da obra. Sete anos depois disso, Ciro morreu ingloriosamente, tendo se matado na Síria quando estava em seu caminho de volta do Egito para o oriente, e foi sucedido por seu filho Cambises (529-522 a.C.), após cuja morte o "falso Smerdis", um impostor, ocupou o trono por cerca de sete ou oito meses, e então Dario Histaspes tornou-se rei (522 a.C.). No segundo ano deste monarca, a obra de reconstrução do templo foi retomada e levada adiante até a sua conclusão (Esdras 5:6-17; 6:1-15), sob o estímulo dos fervorosos conselhos e admoestações dos profetas Ageu e Zacarias. Estava pronto para a consagração na primavera de 516 a.C., vinte anos após o retorno do cativeiro.
Este segundo templo não possuía a arca, o Urim e o Tumim, o óleo santo, o fogo sagrado, as tábuas de pedra, o pote de maná e a vara de Arão. Como no tabernáculo, havia nele apenas uma lâmpada de ouro para o lugar santo, uma mesa dos pães da proposição e o altar do incenso, com incensários de ouro, e muitos dos utensílios de ouro que pertenceram ao templo de Salomão, os quais haviam sido levados para a Babilônia, mas foram restituídos por Ciro (Esdras 1:7-11).
Este segundo templo também diferia do primeiro no sentido de que, enquanto neste último havia inúmeras "árvores plantadas nos átrios do Senhor", não havia nenhuma no primeiro. O segundo templo também possuía, pela primeira vez, um espaço, sendo parte do átrio exterior, destinado a prosélitos que eram adoradores de Jeová, embora não estivessem sujeitos às leis do judaísmo.
O templo, quando concluído, foi consagrado em meio a grandes regozijos por parte de todo o povo (Esdras 6:16), embora não faltassem evidências externas de que os judeus não eram mais um povo independente, mas estavam sujeitos a um poder estrangeiro.
Ag. 2:9 é corretamente vertido na *Revised Version*, "A glória posterior desta casa será maior do que a anterior", em vez de, "A glória desta última casa", etc., na *Authorized Version*. O templo, durante os diferentes períodos de sua existência, é considerado como sendo apenas uma casa, a única casa de Deus (cf. 2:3). A glória aqui predita é a glória espiritual e não o esplendor material. "O próprio Cristo, presente corporalmente no templo no Monte Sião durante sua vida na terra, presente espiritualmente na Igreja agora, presente na cidade santa, a Jerusalém celestial, da qual ele é o templo, evocando adoração e devoção espirituais, é a glória aqui predita" (Perowne).