
Jezuitský areál vznikal postupně v letech 1653–1738 a příliš se neliší od dochovaných plánů z poloviny 17. století. Ústřední osu pravidelně utvářeného obdélného areálu tvoří kostel sv. Františka Xaverského, po jehož stranách jsou kolem dvou dvorů seskupeny budovy koleje a školy. Hlavní průčelí uzavírá celou jihozápadní stranu dnešního Masarykova náměstí. Všechna křídla jsou dvoutraktová, jednotraktová s průběžnými chodbami na straně do nádvoří. Pouze v severovýchodním křídle je na výsku obou pater v 19. století dodatečně vložený hudební sál Reduty. Přízemní prostory jsou klenuté valeně s výsečemi, klenuté jsou i chodby v patře. Bohatá štuková výzdoba v dochovaných reprezentativních prostorách dává představu o původním vybavení interiérů.
Za autora projektu jezuitského kostela bývá považován Giovanni Domenico Orsi. Kostel je neorientovaný, s dvojicí věží v hlavním průčelí. To je členěno vysokým pilastrovým řádem a zakončeno profilovanou římsou s trojúhelným frontonem. V něm je socha patrona kostela sv. Františka Xaverského, pod ním další sochy světců – vlevo sv. Aloise a sv. Ignáce, vpravo sv. Josefa a sv. Františka Borgii.
Po obou stranách sálové lodi jsou tři páry bočních kaplí nesoucích empory (od jihu kaple sv. Barbory, sv. Ignáce z Loyoly a sv. Anny, od severu kaple P. Marie Bolestné, Smrti sv. Josefa a Andělů strážných). Presbytář je pravoúhle zakončený, od jihu se k němu připojuje sakristie, od severu kaple sv. Viktorie. Obraz sv. Františka Xaverského křtícího indického knížete na hlavním oltáři namaloval roku 1689 Jan Jiří Heintsch, obrazy na vedlejších oltářích jsou z dílny Ignáce Raaba, pod hlavním oltářem je krypta s ostatky fundátorky a řádových bratří.
V roce 1681 poničil rozestavěné budovy požár a v roce 1695 výbuch nedaleké Červené věže. Teprve v roce 1705 byla dokončena oprava poničené střechy a v roce 1706 byla v objektu zřízena nemocnice a o něco později i lékárna a škola. V roce 1737 byla stavba dokončena otevřením semináře. Po zrušení jezuitského řádu využívala komplex armáda, od roku 1776 zde sídlila posádka a byly zde sklady. Po roce 1905 převzalo objekty vedení města a zřídilo zde nouzové byty pro chudé. Po roce 1918 se do nich vrátila armáda, která areál užívala do roku 1945. Od roku 1949 do roku 2010 zde byl Dům služeb. Dnes zde sídlí Slovácké centrum kultury a tradic..
Počet žáku omezovala kapacita budov, válečné události nebo různé epidemie nakažlivých nemocí, kolísal tak od 300 roku 1645 po 71 roku 1771 při průměrném počtu 143 žáků. Kromě výuky se jezuité věnovali i misijní činnosti na okolních panstvích (mimo jiné v letech 1653–55 na ostrožském panství) podporovanou zřízením tří stálých misijních stanic v Kuželově, Starém Hrozenkově a Vsetíně – významným dílem tak přispěli k rekatolizaci Moravy. Hradišťští misionáři ovšem vyráželi i do mnohem vzdálenějších končin, z mnohých například autor první mapy Amazonky Samuel Fritz, další odchovanci koleje uspěli na poli literárním – spisovatelé F. Kadlinský, J. Crugerius či D. Nitsch. Jezuité nejprve sídlili ve zdejší kaplance, již v listopadu roku 1644 zahájili provizorní výuku v nově zakoupeném tzv. Kurzbergerovském domě (dnešní č.p. 157). 28. června 1654 byl položen základní kámen ke stavbě koleje, roku 1662 byla první část budovy dokončena. V letech 1670–82 byl postaven řádový kostel zasvěcený sv. Františku Xaverskému, v roce 1690 byly do právě zřízené krypty přeneseny ostatky fundátorky Kateřiny Zoubkové. Rozestavěné budovy poškodily požáry roku 1681 a 1695. Roku 1700 byly položeny základy křídla navazujícího na kolej, do kterého byla o čtyři roky přesunuta část studentů gymnázia. Těsné sousedství hlučných žáků prý rušilo otce žijící v koleji, proto byla v letech 1724–29 postavena nová gymnaziální budova po pravé straně kostela. Od roku 1670 fungoval při koleji i seminář sv. Františka Borgii pro studenty z nemajetných rodin – zpočátku v tzv. Vizovickém domě naproti farnímu kostelu, později v Kurcbergerovském domě, až v letech 1714–18 pro něj byla vystavěna nová budova naproti kolejní zahradě. V době zrušení koleje roku 1773 v ní žilo 35 jezuitů (3 z nich žili v misii), gymnázium mělo 79 a seminář 21 studentů. Kolejní kostel roku 1778 nahradil zchátralý farní kostel sv. Jiří, zbylé budovy i kolejní statky Zdounky a Habrovany připadly studijnímu fondu. Kolej byla roku 1776 přeměněna na kasárna a sklady, roku 1905 v budovách město zřídilo chudinské byty. Po roce 1918 se do nich vrátila armáda, která areál užívala do roku 1945. Od roku 1949 do roku 2010 zde byl Dům služeb. Dnes zde sídlí Slovácké centrum kultury a tradic..