
Okresné mesto Žarnovica sa nachádza medzi mestami Žiar nad Hronom a Nová Baňa. Od Banskej Štiavnice je vzdialené približne 20 kilometrov. Dolný kaštieľ sa nachádza na Námestí Slovenského národného povstania priamo pod kopcom, na ktorom stojí Horný kaštieľ.
Banská komora si za svoje sídlo zvolila kaštieľ na kopci, ktorého pramene siahajú až do 15. storočia. Neskôr bol pod kopcom postavený nový kaštieľ. Dnes je známi ako Dolný kaštieľ. Podobne ako Horný kaštieľ po zoštátnení väčšinou slúžil ako administratívna budova. Schátraný Dolný kaštieľ mesto získalo do vlastníctva ako prvý a v roku 2002 bola ukončená jeho rekonštrukcia. V kaštieli bola zriadená obradná sieň mesta a sídlila tu banka. Dnes je kaštieľ využívaný ako výstavné miesto mesta, v ktorom sa konajú vernisáže a výstavy a obradná sieň. Neskôr mesto získalo aj Horný kaštieľ, ktorý prechádza rekonštrukciou. Horný a Dolný kaštieľ tvoria dominantu mesta Žarnovica..