Po převzetí brtnického panství po luteránských Valdštejnech zahájili Collaltové rekatolizaci nejprve pod vedením jezuitů, již od roku 1626 však hrabě Collalto vyjednává zřízení konventu řádu Bratří sv. Františka z Pauly. Jeden z pouhých dvou paulánských konventů na Moravě měl převzít luteránský kostel sv. Matouše, ke kterému se donátor zavázal přistavět klášter pro předpokládaných dvanáct řeholníků. Za zaneprázdněného vojáka a světoběžníka vedla praktickou správu panství a tedy i výstavbu paulánského konventu jeho manželka Bianca Polyxena z Thurnu. První práce začaly až roku 1629, základní kámen slavnostně položila hraběnka Bianca 22. srpna 1629. Autorem projektu byl Ital Giovanni Pieroni, stavbu vedl jiný Ital Giovani Petruzzi.
Původně měl být klášter postaven v dolní části obce, pro nevyhovující podloží byl roku 1636 přeložen do dominantní polohy poblíž zámku. Díky tomu se výstavba konventu výrazně protáhla – přestavěný kostel nově zasvěcený Nanebevzetí Panny Marie převzali pauláni roku 1641, zakládací listina konventu je datována do roku 1644. Při požáru Brtnice roku 1657 byl klášter ušetřen a konventní kostel převzal funkci farního chrámu, dokud tento nebyl opraven. Roku 1675 pokračoval hrabě Antonín Collalto v původním záměru fundace zahájením stavby špitálu. Další požáry v letech 1727 a 1760 se již klášteru nevyhnuly. Definitivní zánik pro něj znamenaly josefínské reformy roku 1784 – klášter byl zrušen a jeho objekty byly náboženským fondem rozprodány. Objekt poté sloužil jako hospodářské zázemí panství, v kostele bylo skladiště, v klášterních budovách roku 1801 hrabě Collalto nechal zřídit textilní manufakturu, vyrábějící potištěné látky. Zároveň při ní zřídili i dětský domov pro chudé dívky, které pak v manufaktuře pracovaly. Později byl klášter vyžíván jako skladiště a nakonec upraven k obytným účelům. Kostel byl roku 1831 obnoven a zasvěcen blahoslavené Julianě Collalto. Objekt je, na rozdíl od sousedního zámku, v dobrém stavu, rekonstrukcí prošel už na konci 20. století.Text: historie
18.2. 2013 - © Milan Caha (zdoj: Samek B.: Umělecké památky Moravy a Slezska 1 (A-I), Academia, Praha 1994 + www.dedictvivysociny.cz)