
První zmínka o tvrzi v Chroustovicích pochází z roku 1406. Když ji koncem 15. století zdědili Slavatové z Chlumu, připojili ji ke košumberskému panství. Tvrz přestali udržovat a roku 1547 se připomíná jako pustá, obnovil ji až Zachariáš z Chlumu a Košumberka po roce 1577.
Roku 1663 již František Karel Libštejnský z Kolovrat kupoval výstavný čtyřkřídlý zámek. S jeho podobou se nespokojil a přestavěl jej v obdobném duchu jako další rodové sídlo v Rychnově nad Kněžnou. Obě stavby bývají prozatím bez přesvědčivějších důkazů připisovány Janu Blažeji Santini-Aichlovi.
Roku 1721 koupil Chroustovice Jeroným Capece de Rofrano, jehož dcera Marie Terezie přinesla panství věnem do rodu Kinských. Filip Kinský zámek roku 1779 přestavěl rokokově v podstatě do dnešní podoby. Od roku 1823 drželi Chroustovice Thurn-Taxisové, kteří je využívali jako letní sídlo.
Roku 1919 přešel zámek do státního vlastnictví a byla v něm umístěna pobočka tuberkulózní léčebny v Košumberku a později výchovný ústav. Školským účelům slouží zámek doposud, dnes jako Odborné učiliště a Praktická škola Chroustovice.