
Zámek stojí na jižním okraji historického jádra města, západně od kostela sv. Jakuba Většího. Od železniční stanice je vzdálen asi 200 m, od autobusového stanoviště v Palackého ulici 100 m. Přímo kolem bývalého pivovaru vede silnice I/13, ze které lze k zámku odbočit (ve směru od Děčína pokračovat přímo) a zaparkovat, průchod na zámecké nádvoří bývá s výstrahou otevřen. Druhou možností příjezdu je odbočit ze silnice I/13 u přejezdu směrem k Žandovu dolů Lipovou ulicí. Při parkování pozor na věci v autě...
Na severu přiléhá k jižní městské hradbě, v celé výšce byl postaven naráz. Původní vzhled fasády se v zásadě dochoval na západní a severní straně (pravoúhlá okenní ostění s přetínanými pruty, slepé arkády na severní a západní fasádě risalitu, arkýř v koutě nad průjezdem), dvorní (východní) fasáda klasicistně upravena koncem 18. století. Na přelomu 16. a 17. století bylo postaveno patrové jižní křídlo, jehož střední část se dodnes do nádvoří otevírá obloukovými arkádami. Všechny jeho fasády prošly klasicistní úpravou. Na severní straně nádvoří stojí dva zděné patrové klasicistní domy, oddělené slepou soutkou. Za nimi po městské hradbě vede krytá chodba z nejstarší části zámku do kostela sv. Jakuba Většího. Na východě je nádvoří uzavřeno zdí se vstupní branou, nad níž lze z ulice vidět alianční erb Viléma Kinského a jeho ženy Alžběty Trčkové z Lípy. Jihovýchodní nároží zámku (směrem do Lipové ulice) zpevňovala do poloviny 19. století kulatá věžice..
S uklidňováním vnitropolitické situace a růstem nároků šlechty na pohodlí však malý hrad na strmém kopci přestal vyhovovat. Počátek stavby zámku (nazývaného dlouho do 17. století tvrzí) u panského horního dvora na jižním okraji městečka se obvykle kladou do roku 1539. Tomu by napovídala i v podstatě ještě pozdně gotická profilace okenních ostění západního křídla. Plně se sem Vartenberkové přesunuli snad kolem roku 1551, kdy opustili definitivně hrad. Vzhledem k vyčerpání finančních zdrojů nákupy nových částí panství byli nakonec nuceni je roku 1614 prodat Radslavovi ze Vchynic (Kinskému). Od něj ho zdědil jeho synovec Vilém, zavražděný v únoru 1634 jako Valdštejnův spříseženec v Chebu. Zboží přesto zůstalo v rodině hrabat, od roku 1750 knížat Kinských. Ti zámek postupně rozšiřovali a upravovali. Posledním majitelem byl kníže Oldřich Kinský, který zemřel roku 1938 krátce poté, co přivítal v Kamenici Adolfa Hitlera na jeho triumfální cestě po zabraných Sudetech. Zámek byl rodině zabaven roku 1945 na základě Benešových dekretů. Poté zde sídlila lesní správa, po roce 1990 vystřídal několik soukromých majitelů, poslední z nich zahájil ve spolupráci s městem rekonstrukční práce, jejichž postup je ale závislý na omezených finančních zdrojích..