
Při založení města byl klášter situován do severovýchodní části města, ze severu a východu byl chráněn městskými hradbami. Před barokní přestavbou zde stál jednoduchý kostel s hranolovou věží a čtyřkřídlá jednopatrová budova konventu u severní strany kostela. Z nejstarší stavební etapy se dodnes zachovalo gotické kněžiště. V roce 1994 proběhl archeologický průzkum, který severně od kostela objevil původní hřbitov s datací do 13. století. Byly také objeveny základy zdiva původního ambitu kláštera z 15. století (postaveného po husitských válkách), který zanikl v 17. století – jeho pozůstatkem je dnešní klášterní budova na místě východního křídla konventu. Současnou podobu konvent získal při výstavbě po roce 1630, kdy se řeholníci vrátili a v letech 1659–73.
Původní gotický kostel nechala v letech 1669–1680 přestavět Eleonora z Dietrichsteina, vdova po Lvu Vilému z Kounic (majitel panství). Při přestavbě bylo částečně použito obvodové zdivo gotického chrámu jako kněžiště a k němu ze západu přistavěno trojlodí s věžemi. Nad vstupem v ose stavby mezi věžemi je dietrichsteinský znak.
Klášter pravděpodobně vznikl současně s městem, někdy krátce před rokem 1272, kdy král Přemysl Otakar II. uděluje městské právo. První písemné doložení kláštera je z 25. března 1338, kdy od markraběte Karla získává ostrov na řece Olšavě. Až do husitských válek pak konvent obdržel ještě několik donací. Okolo roku 1420 bylo město včetně kláštera vypleněno husity, v roce 1427 se pak města zmocnil Prokop Holý. Dominikáni v tomto období klášter opustili a podle legendy odešli do Polska. Vrátili se po roce 1434. Ke konci 15. století se zástavní majitel panství a města Jan Planknar z Kynšperka osobně angažuje ve sporech o klášterní majetek. Další majitel Jan z Kunovic se zřejmě zasloužil o obnovení klášterních budov. Za Janova syna Jetřicha, kolem roku 1545, ale byli dominikáni z města vyhnáni a kostela se ujali luteráni. V pobělohorské době se objevují snahy o obnovu, ale v roce 1625 klášterní budovy vyhořely a o rok později město zpustošila mansfeldská vojska. Přesto nakonec dochází k restituci klášterního majetku. V této době je také vystavěn nový kostel. Další požár poničil klášter v roce 1643 při švédském vpádu. Až do konce 17. století pak probíhají spory o pozemky a majetek kláštera mezi řeholníky a městem. Díky majitelům panství byla konvent v letech 1656–1673 znovu vystavěn. Už v roce 1863 město vyplenili Uhři. V roce 1742 Prusové zajali převora, odvezli jej do Olomouce a propustili až poté, co klášter zaplatil 2000 zlatých. Ke konci 18. století ustával tok darů a snižoval se počet řeholníků. Činnost kláštera byla přerušena v roce 1950, v roce 1991 byl znovu zřízen samostatný řádový dům dominikánů..