
Klášterní kostel Povýšení Svatého Kříže má půdorys kříže. Zajímavostí je, že je opačně orientován, tzn. hlavní oltář z počátku 18. století je postaven na západě. Pod kostelem jsou dvě krypty, jedna sloužila Švamberkům, druhá k pochováváni řeholníků. Na kostelní věži jsou dva zvony: zvon přenesený ze zvonice svatotrojického hřbitova od zvonaře Brikcího z Cinperka z roku 1575, druhý sv. Dominik je z roku 1673.
20. srpna 1419 byl klášter vypleněn místními husity, mniši byli shozeni ze skály, budovy byly pobořeny a vypáleny. Z původní stavby se zachovalo obvodové zdivo presbytáře kostela. Na místě kláštera vyrostlo několik domů, zbytky klášterního kostela byly využity jako solnice. Z té doby pochází průčelí s renesančními sgrafity. V době rekatolizace byl klášter obnoven, nový konvent byl vystavěn na opačné straně – směrem k hradu. Kostel byl obnoven M. Huertym v roce 1636. Věž byla přistavěna roku 1641. Za válek o rakouské dědictví v roce 1741–42 zde francouzská armáda zřídila lazaret. V roce 1780 byl klášter zrušen a budova byla upravena pro soud a věznici..