
Z pôvodného štvorvežového opevneného kaštieľa sa zachovala dvojpodlažná, trojkrídlová časť s dvoma vežami. Vstup do kaštieľa mal pôvodne padaciu bránu. Pri kaštieli bola neskôr postavená menšia kúria, v ktorej žilo služobníctvo. Neďaleko kaštieľa sa nachádza sýpka, ktorá bola ako obytná veža postavená v roku 1570 a je najstaršou stavbou v obci. Neskôr slúžila ako hospodárska budova kaštieľa a v roku 2014 bola opravená jej strecha.
Kaštieľ dala rodina Kostolányi postaviť okolo roku 1600 na staršom základe ich pôvodného sídla v Zemianskych Kostoľanoch, do ktorého sa presunuli po odchode zo svojho rodového sídla hradu v Kamenci pod Vtáčnikom v 15. storočí. Jednalo sa pôvodne o štvorvežový opevnený kaštieľ. Po zoštátnený kaštieľ slúžil ako obytná budova, fungovala tu v tej dobe aj obradná miestnosť. Po rokoch zlého zachádzania bol kaštieľ v roku 2015 zrekonštruovaný a bolo v ňom otvorené obecné múzeum.