
Zámek je jednoduchá patrová budova obdélného půdorysu s mansardovou střechou. Ve vstupním průčelí má klasicistní dvouramenné schodiště na osmi toskánských sloupech zakončené šestibokou dřevěnou věžičkou se stanovou střechou.
Když roku 1544 kupoval skalské panství Bernard Žehušický z Nestajova, je na něm zmiňováno šest pustých hradů včetně Skal. Bernard Žehušický se rozhodl ponechat pusté hrady jejich osudu a v nedalekém Stárkově si postavil renesanční panský dům. Jeho syn Hertvík si v 70. letech 16. století postavil nový dvůr, jehož součástí byl i nový zámek poprvé připomínaný roku 1582. To již panství vlastnili bratři Zikmund a Bernard Čertorejští z Čertorej. Roku 1662 koupil Skály kralovéhradecký biskup Matouš Sobek z Bilenberka a po úpravách v roce 1666 jej odkázal hradecké kapitule. Až do 20. století pak zámek sloužil k letním pobytům biskupů a kanovníků. Při klasicistní úpravě roku 1825 vzniklo i dnešní schodiště. Kolem roku 1950 byla budova upravena na Muzeum A. Jiráska.