
Malá synagoga byla drobná obdélníková stavba o rozměrech cca 6x4 metry. Stála na břehu řeky Oslavy, ze zbylých tří stran byla později obestavěna mladší židovskou zástavbou. Vlevo od ní stála Stará (Staronová) synagoga, vpravo Nová synagoga a od ulice ji odděloval dům rabína. Dochoval se jen neúplný půdorys stavby s cca 50 cm vysokou podezdívkou.
Doklady o tom však chybí, neboť archiv židovské obce byl zničen při požáru v 19. století. K většímu židovskému osídlení zde došlo až po třicetileté válce. Z té doby je znám židovský rychtář, rabín a Židé kupují pozemek na vybudování hřbitova. V 18. století tvořili Židé třetinu obyvatel Velkého Meziříčí, maximální velikosti dosáhla židovská obec v roce 1857, kdy zde žilo 1116 židovských obyvatel. V Meziříčí působila ješiva a narodila se zde řada významných židovských učenců. Od konce 19. století se počet Židů v Meziříčí zmenšoval, v roce 1930 zde žilo pouze 76 osob. Židovská obec zanikla deportacemi za 2. světové války a po válce nebyla obnovena..
Do druhé světové války sloužila jako zimní modlitebna, posléze jako skladiště a zbořena byla v roce 1962, údajně v souvislosti se záměrem majitele rabínského domu budovu rozšiřovat..