
Zbytky zámku jsou roztroušené po městě: na Velkém náměstí vstupní brána (u ní dobrá Zámecká restaurace), v kempu altán, přes silnici rozpadající se Kokořovský dvůr a pod farou kašna s koňskou bustou. Než obejdete všechny, dost se na žlutickém svahu zadýcháte...
S ním přešel roku 1415 do rukou pánů z Elsterberka, po roce 1426 se jich pak zmocnil Jakoubek z Vřesovic. Ten obranu města posílil stavbou hradů Nevděk a Mazanec i zesílením městského hradu a opevnění. V několika etapách (1602–23, 1680–1700) byl městský hrad změněn v zámek s honosnou barokní zahradou, rozšířenou za severní obvod městských hradeb. Zároveň byl na druhé straně silnice do Bochova zřízen rozsáhlý hospodářský dvůr. Kokořovci, kteří tyto úpravy prováděli, se však roku 1723 odstěhovali na zámek ve Štědré. Žlutický zámek pak sloužil jako sídlo správy panství až do požáru roku 1761, po němž byl rozebrán na stavební materiál. Do současnosti se dochovala vstupní brána z Velkého náměstí (nabízí průhled na panelový dům), altán v horní zdi parku (dnes kempu), hospodářský Kokořovský dvůr (v desolátním stavu) a socha koně, přenesená na fontánu u fary..