Kostel má pozdně barokní styl, obdélníkový půdorys a dvě věže s půlkruhovou apsidou. Jeho interiér zahrnuje tři hlavní lodě. Fasáda kostela obráceného k radničnímu náměstí je zdobena profilovanými římsami a stupňovitými vlysovými pruhy a rozdělena do tří úrovní. Věže oddělené rohovými pilastry jsou zdobeny výklenky různých tvarů. Zajímavé je, že zužující se horní vrstvy věže jsou podporovány pilastry otočenými v úhlu 45 stupňů, které jsou zvednuty na vrcholu zploštělých volut. Monumentální podoba kostela je zpestřena tančícími stíny tvořenými strukturou mnohostěnných pilastrů, výklenky a dalšími prvky, které oddělují ploché povrchy. Ze stran je kostel rámován budovami kláštera. První budovy, které zde byly dříve postaveny, jsou vertikálně rozděleny mírnými pilastry a mezi nimi jsou umístěna vysoká obdélníková okna. Druhá řada je rozdělena téměř identickými pilastry a řadami spárovaných oken, která jsou menší než v prvních patrech.
Kostel sv. Františka Xaverského postavili na radničním náměstí jezuité. Stavba kostela začala v roce 1666 a vysvěcen byl v roce 1722. Carská ruská vláda dala kostel pravoslavné církvi k použití v roce 1824. Kostel byl znovu přidělen jezuitům až v roce 1924. Poté, co byla Litva obsazena sověty, byl kostel sv. Františka Xaverského přeměněn na technickou školu, interiér kostel sloužil jako sportovní hala. V roce 1989 byl kostel znovu jezuitům vrácen. Renovace kostela proběhla v roce 1992.