
Hypotesy o nejstarším hradeckém kostele na místě dnešního objektu vyvrátil archeologický průzkum, který datoval předchůdce současné stavby až do 14. století (po požáru města roku 1339). Tehdy vznikl jako "česká kaple" pro české obyvatele převážně německého města. Po reformaci a počeštění města sloužila nejpozději roku 1517 jako sklad soli. Původní cihelná stavba byla orientována k severovýchodu. Na místě zbořené jižní části postavena Bílá věž. Od roku 1653 provisorně opravená kaple sloužila jako filiální ke kostelu sv. Ducha. Během moru roku 1714 byl svatý Kliment prohlášen za ochránce diecese proti moru. Biskup Jan Adam Vratislav z Mitrovic nechal v letech 1717–21 z vděčnosti za ukončení epidemie postavit podle Santiniho projektu novou kapli s výraznou kopulí, na jejímž vrcholu je umístěna papežská tiára se svatopetrskými klíči jako symbol daru ostatků sv. Klimenta papežem Klimentem XII. roku 1737.