
Barokní zámek je bývalou biskupskou rezidencí královéhradecké diecéze. Budova je nyní po nákladné rekonstrukci a sídlí v ní Městský úřad a Městské muzeum (zal. již 1893). V zámku se konají příležitostně koncerty, svatební obřady apod. K zámku patří zámecká zahrada z pol. 19. století, upravená v roce 1903 architektem Thomayerem z Prahy jako park se vzácnými dřevinami, na který navazuje lipová alej. Na jejím konci stojí kaplička Sv. Jana Nepomuckého, postavená roku 1728 a obnovená 1921.
Zvláštností zámecké expozice je faksimile kodexu Gigas (řecky „obrovská kniha“), největšího biblického rukopisu na světě. Tato bohatě iluminovaná kniha vznikla na počátku 13. stol. v klášteře v Podlažicích u Chrudimi. Kvůli vyobrazení ďábla je známá jako "Ďáblova bible". Rozměry jejích desek jsou 920 x 505mm. Od roku 1648 se tento rukopis nachází ve Švédské královské knihovně ve Stockholmu.
V místech dnešního průčelí stávala rychta, kterou dal mezi lety 1579 až 1605 přestavět Albrecht Slavata z Chlumu a Košumberka na „panský dům“, k němuž bylo za Markéty Berkové, rozené Trčkové, r. 1605 přistavěno severní křídlo. Od roku 1664 se zámek stal letní rezidencí královéhradeckých biskupů. V letech 1721 - 1731 byla za biskupa Jana Adama z Mitrovic zahájena stavba východního křídla, a kolem roku 1742 bylo přestavěno západní křídlo a přistavěno jižní. Je samozřejmé, že byly upraveny vnitřní prostory zámku. Ve východním křídle byla vybudována a vysvěcena kaple sv. Jana Nepomuckého, která byla vyzdobena za biskupa Josefa Haise roku 1891 podle návrhu emauzských benediktinů. V současnosti je zámek v majetku města, v západním křídle je umístěn městský úřad, v ostatních křídlech pak městské muzeum, které bylo založeno roku 1893. V muzeu jsou umístěny stálé expozice (geologie, paleontologie, historický vývoj Chrasti, kulturní osobnosti, zaniklá řemesla) a prodejní galerie. Odsvěcená kaple se 100 místy slouží k pořádání kulturních akcí. K zámku patří zahrada, kterou dal vybudovat v polovině 19. století biskup Karel Hanl. Rozloha zahrady je tři hektary..
Dostal veškerý potřebný materiál a pustil se do díla. O půlnoci mu bylo jasné, že úkol nemůže zvládnout a přivolal si na pomoc samotného ďábla. Ten za něj celé veledílo sepsal, biblické pasáže ovšem s velkým sebezapřením, odporem a nechutí. Za to mu mnich přidal do knihy jeho obrázek..