
Zámek vznikl přestavbou původního hradu, který byl postaven na vrcholu skalnatého hřebenu, vystupujícího do údolí, nad brodem staré pohraniční dálkové cesty "Alter Böhmischer Steig" (Stará česká stezka), vedoucí z Halle přes Lipsko do Prahy. Hrad se v písemných pramenech prvně zmiňuje roku 1299, ale vystavěn byl pravděpodobně již koncem 12. století. Hrad vystřídal několikrát majitele – vlastnil jej rod von Leisnig, poté rod Waldenburg, až se r. 1456 stal majetkem wettinských knížat.
V letech 1545–1547 dal vévoda Moritz, pozdější saský kurfiřt, hrad přestavět na lovecký zámeček v renesančním stylu. Z hradu se zachovala jen strážní věž "Dicker Heinrich" (Tlustý Jindřich / pro tloušťku zdí) z 12.–13. století, stojící v zámeckém dvoře. Další věží zámku je schodišťová věž "Schlanke Margarethe" (Štíhlá Markéta) se svým zakřiveným románským poklopem a dominantním příčným lomenicovým střešním štítem. Na zámku sídlili vévodští, později kurfiřští a královsko-saští lesní správci do roku 1911.
V průběhu 19. století bylo stavebně upraveno východní křídlo zámku, kam se nastěhovala "Expedice královského soudu", později obvodní soud. Roku 1855 bylo západní křídlo rozšířeno o soudní věznici se zděným čtyřúhelníkem vězeňského dvora. Toto využití zámku je dnes však již minulostí.
Od roku 1994 je zámek v majetku města, postupně byl zrestaurován a dnes je oblíbeným cílem turistů. Na zámku je možné si prohlédnout zrestaurované renesanční prostory, také je zde expozice starých motocyklů, výstava minerálů, muzeum knihtisku a vazačství knih, výroba razítek a historická mincovna, která je ukázkovou dílnou. Na zámku také sídlí městská knihovna. Pod hradem byla obnovena barokní zahrada, kterou je velmi příjemná procházka.