
Kaštieľ je poschodová budova na pôdoryse obdĺžnika. Fasády sú po necitlivej prestavbe z 2. polovice 20. storočia hladké, bez významných architektonických prvkov. Jediným výraznejším prvkom kaštieľa zostal rizalit s trojuholníkovým štítom a tympanónom. Kaštieľ sa nachádza v zvyšku pôvodného parku.
Okresné mesto Poltár patrí medzi najmenšie okresné mestá na Slovensku. Jeho história sa začala písať v 14. storočí, avšak nálezy z okolia mesta dokazujú osídlenie už v 7. storočí Slovanmi. V 15. storočí tu vznikla menšia pevnosť, ktorá sa však do dnešných dní nezachovala. Mesto bolo v rokoch 1554 až 1593 okupované tureckými vojskami. Významnou rodinou, ktorá vlastnila mesto, boli od roku 1742 Géczyovci. Práve táto rodina vybudovala v Poltári dodnes zachované historické pamiatky, ako sú kaštieľ a kúria. Kaštieľ začal svoju históriu písať v roku 1782 ako jednoduchá stavba, ktorá bola v roku 1865 upravená do klasicistickej podoby. Po zoštátnení majetkov bol kaštieľ prefasádovaný a necitlivo upravený na potreby jaslí a mestskej knižnice. Neskôr, už bez výraznejších historických prvkov, bol predaný do súkromného vlastníctva, v ktorom sa nachádza dodnes.