
Nejvýznamnější stavbou krásného hanáckého města Tovačova je bezesporu zámek s 96 m vysokou spanilou věží, která patří k nejvyšším v České republice. Dále zde stojí kostel sv. Václava, kostel sv. Jiří a mnoho dalších památek. Některé významné stavby již zanikly nebo z nich zůstala zachována pouze část. Jednou z takových částečně dochovaných památek je „Špitál u sv. Joachima a sv. Anny“. Z původního špitálu se zachovala pouze kaple stojící na okraji hřbitova v ulici Široká.
Nejstarší špitál stával vedle panských lázní na tzv. Kozím rynku někde v místech dnešního domova důchodů. Sloužil pěti starým chudým lidem. Do tohoto špitálu byly přijímány pouze osoby z Tovačovského nebo jiného pernštejnského panství. V roce 1540 Jan z Pernštejna a na Tovačově předal špitál a lázeň do vlastnictví Tovačovským. Někdy koncem 16. století byl původní objekt již nevyhovující a proto město odkoupilo grunt Jana Húsky, kde zřídilo nový špitál s kaplí a hřbitov. V roce 1601 hrabě Vejkhart osvobodil bývalý grunt přestavěný na obecní špitál od všech robot a platů. Po skončení třicetileté války bylo město vylidněno a opuštěný a zdevastovaný byl i špitál u hřbitova. V roce 1673 Ferdinand Julius hrabě ze Salmu dal špitál s kaplí u hřbitova obnovit. Špitál nesl název „Špitál u sv. Joachima a sv. Anny“ a pobývalo zde 6 mužů a 6 žen. Podle inventáře salmovského tovačovského špitálu z 16. března 1697 se ve špitální kapli nacházelo 45 obrazů a obrázků, měděný ruční pocínovaný kříž, dřevěný krucifix, sošky sv. Šebestiána a sv. Rocha a velké dřevěné přenosné kříže, s nimiž špitálnící chodili do kostela a na pohřby. Ve špitále bylo také velké množství knih, převážně s náboženskou tématikou. Špitálníci v zahradě pěstovali květiny a keře, později zeleninu a ovocné stromy, ale chovali zde i několik krav. V roce 1766, za hraběte Františka Josefa z Kuenburgu, započala přestavba špitální kaple, při níž byly do průčelí vsazeny dva kamenné erby, salmovský a kuenburgovský. Z doby renovace se zachoval jediný plánek špitálu a v dalších dokumentech je uveden jeho popis „Špitál je 19 sáhů dlúhý a 5 sáhů široký, je zde světnice 4 sáhy dlúhá a široká, pět světnic malých 2 sáhy dlúhé a široké, k tomu 2 síně 2 sáhy široké a 4 sáhy dlúhé, kvelb 2 sáhy dlúhý a 2 sáhy široký, kuchyně, při tom stavení kaple 4 sáhy 2 střevíce dlúhá, 2 sáhy široká. Dále je zde sklep 2 sáhy dlúhý a široký, chlév půl čtvrtého sáhu dlúhý, půl třetího sáhu široký ...“
V roce 1805 byl špitál opraven. Po zrušení poddanství roku 1848 přešly závazky vrchnosti na obce, která udržovala chudobinec ze svých rozpočtů. V 50. letech 20. století byl špitál sloučen s nemocnicí řádových sester III. řádu sv. Františka. V roce 1984 byla zchátralá špitální budova zbořena a jedinou připomínkou na městský špitál (chudobinec) zůstala pouze špitální kaple sv. Jáchyma a Anny. Kaple má jeden oltář s obrazem znázorňujícím předoucí sv. Annu a sv. Jáchyma, vyučujícího Pannu Marii, nad nimi se vznáší dva andílci nesoucí věnec..