Synagoga byla postavena v letech 1905–1906 podle projektu vídeňského architekta a císařského stavebního rady Wilhelma Stiassneho jako náhrada za tři synagogy (Zigeinerovu, Velkodvorskou a Novou), které byly zničeny v letech 1898–1906 během asanace. Ačkoliv spolek, který si vzal za své zajistit výstavbu synagogy, byl založen již v roce 1896, trvalo deset let, než byla synagoga dne 16. září 1906 slavnostně otevřena. V prvních letech nesla jméno Jubilejní chrám císaře Františka Josefa na památku padesátiletého výročí jeho panování, připadající na rok 1898. Po první světové válce se pomalu vžil současný název Jeruzalémská synagoga podle ulice, v níž se nachází. Ta však nemá se synagogou nic společného: ulice je pojmenována podle bývalé jeruzalémské kaple kostela sv. Jindřicha, který se nachází v jejím sousedství.

Jeruzalémská synagoga je unikátní tím, že je jedinou z osmi synagog postavených podle projektu W. Stiassneho, ve které se dosud konají pravidelné bohoslužby. Výjimku tvoří pouze válečná léta 1941–1945, kdy zde byl umístěn sklad zabaveného židovského majetku.

Kromě bohoslužeb slouží synagoga i jako kulturní a výstavní prostor. Při pravidelných koncertech si zde návštěvníci mohou poslechnout unikátně dochované původní varhany z dílny Emanuela Štěpána Petra.