
Tvrz ve Chvalkovicích byla postavena pravděpodobně v 1. polovině 14. století, prvním známým držitelem je až roku 1370 Petr z Chvalkovic. Po další dvě století patřila tvrz od roku 1548 zmiňovaná jako zámek místnímu rodu Chvalkovských z Hustířan, až ji roku 1600 koupil Petr Dobřenský z Dobřenic. I jeho rod Chvalkovice držel po dvě století a prodal je až roku 1792. Nový majitel, kuronský a zahaňský vévoda Petr Biron Chvalkovice připojil k náchodskému panství, jehož osudy nadále sdílely až do 20. let 20. století. Tehdy byl z Chvalkovic vytvořen samostatný statek, který se později dostal do majetku podnikatele Dlabola. Roku 1945 pak připadl státu, nejprve sloužil státnímu statku, poté národnímu výboru a zemědělskému družstvu. Od 80. let byl v podstatě bez údržby a silně zchátral.
V těchto místech zřejmě stál původní palác, jehož zbytkem mají být údajné podzemní prostory v jihozápadní špici. Existenci další patrně jednoprostorové budovy naznačuje silnější zdivo v čelní části tvrze. Západní část plášťové hradby později sjela po prudkém svahu a někdy v pozdní gotice ji nahradila nová, již slabší a výše ve svahu založená. Ve stejné době byl na obě strany rozšířen čelní objekt do tvaru písmene L. Bližší podobu této části neznáme, na počátku 17. století bylo totiž její nadzemní zdivo z větší části strženo a nahrazeno mírně kosodélnou patrovou zámeckou stavbou. Tu ještě roku 1678 upravoval Ferdinand Dobřenský, který přistavěl nové křídlo s průjezdem. Do trojkřídlé podoby přestavěli zámek po roce 1738 a kolem roku 1753, poslední zbytky staré tvrze byly strženy po roce 1790. Poslední výraznější úpravy byly provedeny v letech 1928-36, kdy vznikla romantická nádvorní arkáda.