Na de bouw van de Grote
Synagoge in 1671 ontstond al binnen korte tijd ruimtegebrek.
Vandaar dat er al snel begonnen werd met de bouw van een Tweede
Synagoge, ook wel de Obbene Sjoel genaamd.
Deze (bij)naam dankt het gebouw aan het feit dat zij een bovenruimte ('obben') in beslag neemt.
De ruimte onder de synagoge was vroeger een vleeshal. Dit oorspronkelijk houten gebouw stond op een achtererf aan de Nieuwe Amstelstraat, dat in 1671 aangekocht was door de joodse gemeente.

In 1685 werd het houten gebouw gesloopt en kwam er een
smal, langgerekt gebouw. De onderruimte deed wederom
dienst als vleeshal en boven kwam de synagoge.
De synagoge had twee galerijen boven elkaar, die beide
niet voor vrouwen maar voor mannen bestemd waren. Er waren
aanvankelijk 390 zitplaatsen.
Van de Obbene Sjoel zijn aanmerkelijk minder afbeeldingen bekend dan van de Grote Synagoge.
Dit hangt samen met het feit dat de Obbene Sjoel (net als de Dritt Sjoel) bezocht werd door mensen met een lagere sociale status dan de leden van de Grote Synagoge.
De bekendste afbeelding is een
gravure van Bernard Picart uit 1725 getiteld Grote Verzoendag
bij de Hoogduitse Joden.
De bovenste galerij is al spoedig via de achterwand doorgetrokken naar de linkerwand. Later werden er ook zitplaatsen voor vrouwen op de onderste galerijen gecreëerd.
De ontkerkelijking en de trek van joden uit de oude jodenbuurt
naar nieuwe wijken aan de rand van de stad in het begin van de
20ste eeuw hadden tot gevolg dat de Obbene Sjoel vanaf 1924 alleen
nog gebruikt werd als leerlokaal voor de religieuze vereniging
Tiferet Bachoeriem.
In de Tweede Wereldoorlog zijn de
zeventiende-eeuwse Ark en de galerijen verloren gegaan.
In 1966 is het gebouw door architect J. Schippers
gerestaureerd. Toen zijn ook de galerijen opnieuw aangebracht.
Bij de verbouwing tot museum in de periode 1976-1987 is het
vloerniveau verlaagd. De twee moderne galerijen aan de
rechter- en achterwand werden lager aangebracht dan de
oorspronkelijke. Van 1987 tot eind 2005 is de Obbene Sjoel in
gebruik geweest als museumshop en -café.
In 2005 en 2006 is het museum ingrijpend verbouwd. De Obbene
Sjoel werd voorzien van tussenvloeren en een trappenhuis, waarmee
het de definitieve plek werd van het JHM Kindermuseum.
