
Dolný kaštieľ má pôdorys nepravidelného štvorca a je bez výraznejších architektonických prvkov v podobnom slohu ako Horný kaštieľ.
Keď v 17. storočí majitelia Žarnovice a jej kaštieľa rodina Dóczi vymrela, dostali sa majetky mesta spolu s kaštieľom do vlastníctva Banskej komory v Banskej Štiavnici. Banská komora neskôr prebrala aj panstvo hradu Revište. Banská komora si za svoje sídlo zvolila kaštieľ na kopci, ktorého pramene siahajú až do 15. storočia. Neskôr bol pod kopcom postavený nový kaštieľ. Dnes je známi ako Dolný kaštieľ. Podobne ako Horný kaštieľ po zoštátnení väčšinou slúžil ako administratívna budova. Schátraný Dolný kaštieľ mesto získalo do vlastníctva ako prvý a v roku 2002 bola ukončená jeho rekonštrukcia. V kaštieli bola zriadená obradná sieň mesta a sídlila tu banka. Dnes je kaštieľ využívaný ako výstavné miesto mesta, v ktorom sa konajú vernisáže a výstavy a obradná sieň. Neskôr mesto získalo aj Horný kaštieľ, ktorý prechádza rekonštrukciou. Horný a Dolný kaštieľ tvoria dominantu mesta Žarnovica.