
Pravděpodobně během první poloviny 15. století byla na vyvýšenině severovýchodně od města postavena kaple sv. Víta. Zvažovaná existence starší sakrální stavby nebyla archeologickým průzkumem pod kostelní lodí prokázána.
V první stavební fázi šlo o přibližně orientovanou nevelkou stavbu s obdélnou lodí o rozměrech 8,5 x 12,5 metrů krytou polovalbovou střechou, s presbytářem dnes neznámé podoby.
Po založení kláštera bylo zřejmě uvažováno o stavbě zcela nového konventního chámu, nakonec však došlo pouze k rozšíření kaple sv. Víta. Původní presbytář byl zbořen a nahrazen rozměrnějším mírně odsazeným obdélným závěrem o délce cca 10 metrů. Presbytář má trojboké zakončení opatřené odstíněnými diagonálními pilíři, dvojicemi obdobných pilířů byly opatřeny i boky presbytáře. Pilíře dovolují odhadnout, že presbytář byl zaklenut dvěma poli křížové klenby s paprsčitým závěrem, podle některých zdrojů klenba nemusela být dokončena. K severní straně presbytáře přiléhal dnes již neexistující přibližně obdélný přístavek přístupný z exteriéru, výběhy jeho zdí a otisk valené klenby jsou dosud patrné v severní fasádě.
Ve třetí stavební etapě byla zbořena jižní zeď lodi a ta byla rozšířena na téměř dvojnásobnou velikost. Přístavbu ze zdiva odlišné struktury jasně identifikuje svislá spára v polovině západního průčelí. Loď byla rozšířena na jedním polem křížové klenby zaklenutý přibližně čtvercový prostor cca 12 x 11 metrů, ke kterému na jihu přiléhají tři niky s valeně klenutými bočními kaplemi, čtvrtá byla doplněna v koutě mezi lodí a presbytářem.
O podobě klášterních budov nevíme téměř nic. Záchranný archeologický výzkum v posledních letech zachytil pouze základové konstrukce zdi přiléhající na spáru k severnímu průčelí kostela a tří zdí na ní kolmo navazujících, které lze hypoteticky ztotožnit s pozůstatky klášterního ambitu přiléhajícího ke kostelu od severu. Více informací by mohl přinést další výzkum v parčíku severně od kostela.
Podle dochovaných pramenů byl klášter zřízen roku 1455 na žádost jemnické vrchnosti – bratří Albrechta, Hynka a Štěpána z Lichtenburka. Se svolením olomouckého biskupa Bohuše ze Zvole byla budoucímu klášteru předána kaple sv. Víta. Kaple, pozdější kostel, je tedy starší než klášter, k jejímu přesnému stáří se ovšem dostupná literatura nevyjadřuje. Františkánská komunita se těšila velké oblibě okolní šlechty i měšťanů, kteří na něj pamatovali četnými odkazy, klášterní kostel se stal rodovou nekropolí, o čemž svědčí dochovaný náhrobník Půty z Lichtenburka († 1492). Roku 1468 Jemnici obléhalo uherské vojsko Matyáše Korvína, škodám zřejmě neuniknul ani klášter za městem. Po nástupu luteránství přízeň měšťanů i vrchnosti ustala, roku 1529 naopak zakázal Jindřich z Lomnice kázání v klášterním kostele, a když byli v následujících desetiletích protestantskými měšťany z Jemnice vyháněni katolíci, odešli s nimi i františkáni, různé zdroje uvádí opuštění kláštera rozdílně k rokům 1546 či 1558. Roku 1570 daroval císař Maxmilián II. kostel městu pro potřeby zdejší katolické menšiny. Po třicetileté válce se uskutečnil pokus o obnovení kláštera, roku 1673 se jej františkáni znovu ujali, trvale zde však pobýval pouze jeden bratr. Klášteru však nepřál olomoucký biskup Karel II. z Liechtensteina, svou roli sehrála i existence františkánského konventu v nedalekých Dačicích a finanční nesnáze doprovázející obnovu. Roku 1675 řádová kapitula v Jindřichově Hradci rozhodla o zrušení kláštera, který byl 17. září následujícího roku definitivně opuštěn. Zchátralé klášterní budovy byly v následujících letech zbořeny a zůstal pouze kostel. Ten sloužil i nadále k bohoslužbám, v 70. letech 18. století byl stavebně upravován, to však byla jeho labutí píseň – za josefínských reforem byl kostel roku 1785 zrušen. Odsvěcený svatostánek koupila hraběnka Daunová a roku 1790 jej darovala městu Jemnice, v jehož vlastnictví je dodnes..