
Trojkřídlý patrový zámek s 2 nárožními válcovými věžemi s cimbuřím a vikýři, z velké části ze spárovaného lomového zdiva. Jižní průčelí zdobí novorománské arkády. V 1. patře bývala kaple sv. Anny s nástropními malbami s námětem Nanebevzetí Panny Marie (snad od Siarda Noseckého) a se štuky z doby kolem roku 1750. Část místností si uchovala novobarokní výzdobu – např. v 1. patře severní věže je novogotický salónek. Kolem zámku je anglický park z 18. století, v něm stojí barokní socha sv. Agasia z první čtvrtiny 18. století a boží muka ze 17. století.
Historie panských sídel je zde poněkud spletitá. V historii tu stály snad až tři různé tvrze. Herálec je uváděn jako centrum řádu německých rytířů, kteří si zde ve druhé polovině 12. století postavili tvrz v místech nedaleko opevněného kostela. Ta byla později ve vlastnictví Oldřicha z Říčan a Křivosudova a po jeho smrti ji král Václav II. jako odúmrť daroval Reinerovi z Florencie. Ten ji v roce 1305 prodal opatu sedleckého kláštera Heidenrichovi. Je však možné, že se tato zmínka váže ke druhé tvrzi, která v té době stála západně od vsi, v místech dnešního zámku. Zdejší panství pak krátce vlastnil Jindřich z Rožmberka, který je v roce 1307 směňuje s pražským biskupem Janem. Ve vlastnictví arcibiskupství bylo do husitských válek a poté jej získali Trčkové z Lípy. K původní věžovité tvrzi byla roku 1559 přistavěna rozsáhlá obytná budova. Poslední z rodu, Kryštof Jaroslav Trčka z Lípy, prodává Herálec roku 1602 Kryštofu Karlovi z Roupova, který starou tvrz obnovuje a spravuje odtud humpolecké panství. V letech 1658–1661 byla tvrz upravena na barokní zámek. V letech 1838 zámek v držení Trauttmansdorffů novogoticky přestavěn. Další úpravy proběhly v roce 1862, 1890 a 1935. V roce 1945 byl zámek konfiskován a byla zde zřízena politická škola. Později byl objekt využíván zvláštní internátní školou. Po revoluci se dostal zpět do soukromých rukou, vlastní jej společnost Malý zámeček, s.r.o. a využívá jako luxusní hotel..