
Pozůstatky někdejšího hradu se nacházejí v severozápadní části historického města, mezi Tyršovým náměstím (odtud je zřízen nový vstup) a ulicí Na valech.
K severozápadnímu nároží městského opevnění ho pravděpodobně nechal přiložit Přemysl Otakar II. Jednalo se zřejmě o kastel, oblíbený při stavbách městských hradů v době vlády tohoto panovníka (viz např. Písek nebo Tábor). Vlastní hrad měl lichoběžníkový půdorys, v každém rohu stála jedna věž. Rozmístění obytných a dalších budov není dodnes jasné. Velkou přestavbou prošel hrad za vlády Karla IV., který zde zřejmě jako poslední český král pobýval. Tehdy vznikl dodnes zachovaný palác na severní straně areálu, který byl postaven na vnější straně hlavní hradby. Během 15. století hrad chátral, roku 1499 ho Vladislav II. Jagellonský věnoval městu. Od té doby sloužil jako hospodářský objekt, který prošel mnoha utilitárními přestavbami. Tento proces vyvrcholil po roce 1727, kdy byl v areálu hradu zřízen měšťanský pivovar. Postupně zanikly tři věže, jedině ze severovýchodní se zachovala část, včleněná do hradby. Také část obvodových hradeb (zejména na jižní straně) byla zbořena, do areálu naopak vstoupily nové objekty různých funkcí. Koncem 19. století se pivovar přesunul jižně od vlastního hradu do nově postavených průmyslových objektů. Zachovalý karlovský palác sloužil nadále jako skladiště. Jeho chátrání se vystupňovalo zejména po roce 1945, v 70. letech 20. století částečně vyhořel. V následujícím desetiletí dostal nízkou plechovou střechu, kterou počátkem 90. let nahradila vysoká valbová střecha gotisujícího tvaru. Roku 2007 začala s využitím evropských peněz přestavba paláce na centrum českého vinařství. Přitom byly rehabilitovány nečetné zachované prvky (zejména presbytář někdejší kaple). Centrum funguje od jara 2011..