
Goticko-renesanční luteránský kostel byla obdélná jednolodní sálová stavba s trojbokým závěrem zaklenutá čtyřmi poli křížové klenby z cihlových tvarovek. Podle původního Pieroniho návrhu počítajícího pouze se zřízením rodové hrobky měl být přetvořen v rotundu s půlkruhovou apsidou. Po přeložení paulánského kláštera z města na hradní návrší se kostel stal klášterním svatostánkem. Loď byla rozšířena o dvě čtvercové boční kaple zaklenuté osmidílnou kupolí a bohatě zdobené štukami. Kostel díky nim získal půdorys ve tvaru kříže. Po stranách valenou klenbou nově zaklenutého presbytáře byly vestavěny boční sakristie s oratořemi v patře, loď byla na západní straně prodloužena a zakončena hranolovou věží s předsíňovým ochozem zaklenutým křížovými klenbami.
Čtyřkřídlá dvoutraktová jednopatrová klášterní kvadratura je vysunuta do příkrého srázu, podle polohy ve svahu mají křídla jeden až dva suterény. Do čtvercového dvora se v obou patrech obracejí valeně klenuté ambity, v přízemí původně otevřené, jednotlivé místnosti jsou klenuty valeně s výsečemi.
Jeden z pouhých dvou paulánských konventů na Moravě měl převzít luteránský kostel sv. Matouše, ke kterému se donátor zavázal přistavět klášter pro předpokládaných dvanáct řeholníků. Za zaneprázdněného vojáka a světoběžníka vedla praktickou správu panství a tedy i výstavbu paulánského konventu jeho manželka Bianca Polyxena z Thurnu. První práce začaly až roku 1629, základní kámen slavnostně položila hraběnka Bianca 22. srpna 1629. Autorem projektu byl Ital Giovanni Pieroni, stavbu vedl jiný Ital Giovani Petruzzi. Původně měl být klášter postaven v dolní části obce, pro nevyhovující podloží byl roku 1636 přeložen do dominantní polohy poblíž zámku. Díky tomu se výstavba konventu výrazně protáhla – přestavěný kostel nově zasvěcený Nanebevzetí Panny Marie převzali pauláni roku 1641, zakládací listina konventu je datována do roku 1644. Při požáru Brtnice roku 1657 byl klášter ušetřen a konventní kostel převzal funkci farního chrámu, dokud tento nebyl opraven. Roku 1675 pokračoval hrabě Antonín Collalto v původním záměru fundace zahájením stavby špitálu. Další požáry v letech 1727 a 1760 se již klášteru nevyhnuly. Definitivní zánik pro něj znamenaly josefínské reformy roku 1784 – klášter byl zrušen a jeho objekty byly náboženským fondem rozprodány. Objekt poté sloužil jako hospodářské zázemí panství, v kostele bylo skladiště, v klášterních budovách roku 1801 hrabě Collalto nechal zřídit textilní manufakturu, vyrábějící potištěné látky. Zároveň při ní zřídili i dětský domov pro chudé dívky, které pak v manufaktuře pracovaly. Později byl klášter vyžíván jako skladiště a nakonec upraven k obytným účelům. Kostel byl roku 1831 obnoven a zasvěcen blahoslavené Julianě Collalto. Objekt je, na rozdíl od sousedního zámku, v dobrém stavu, rekonstrukcí prošel už na konci 20. století.
Matouši, patroncium bylo změněno při rekatolizaci roku 1641 na Nebevzetí Panny Marie a roku 1831 na součané – sv. Karlu Boromejskému a bl. Juliáně Collato. Jeho barokní přestavbu navrhl italský architekt Giovanni Battista Pieroni. Přestavba byla citlivá, objet byl začleněn do nového barokního kláštera a přesto si zachoval mnoho prvků původní renesanční stavby. Chrám byl odsvěcen při zrušení kláštera roku 1784 a sloužil pak jako skladiště. Po opravách byl znovu vysvěcen roku 1831..