
Zhruba 0,5 km severovýchodovýchodním směrem od zámku se na pravém břehu Loučné nachází pomníček manželů Bondyových. Arnošt a Truda Bondyovi byli mezi lidmi oblíbení majitelé zámku židovského původu, kteří den po vpádu německé armády do České republiky spáchali na tomto místě sebevraždu (Arnošt zřejmě nejprve zastřelil svou ženu a poté obrátil zbraň proti sobě. Patrně se však pouze postřelil a spadl při tom do řeky, neboť jeho tělo bylo nalezeno právě v řece, v místě pod nynějším pomníčkem, a příčinou smrti bylo utonutí). Nápis (špatně čitelný) na pomníčku: "16.3.1939 Arnošt a Truda Bondyovi".
Severovýchodovýchodně od místa, kde stojí pomníček, se nacházel tzv. zimní rybník. Napouštěl se pouze na zimu a sloužil jako zdroj ledu pro zámek, kde se led skladoval v tamních sklepeních. Část reliéfu rybníku je dobře patrná poblíž mostku přes potok (pravobřežní přítok Loučné), necelých 200 m od pomníčku.
Roku 1533 koupil Zámrsk s příslušenstvím Jan Lukavský z Lukavice, jeho potomci tvrz renesančně přestavěli. Od roku 1613 vlastnil Zámrsk Karel Kapoun ze Svojkova, kterému byl pro účast ve stavovském povstání zabaven. Konfiskát koupil Albrecht z Valdštejna a vzápětí jej postoupil Vincenci Muschingerovi z Gumpendorfu. Po několika dalších majitelích zdědil zámek Albrecht Libštejnský z Kolovrat, za jeho potomků, kterým patřil až do roku 1772, byl zámek přestavěn barokně. Roku 1772 zdědila zámek Josefa z Bubna, která jej rychle nechala zpustnout. Roku 1780 byl v dražbě prodán Jiřímu Jeníkovi z Gamsendorfu, který zpustlou stavbu opravil. V letech 1849-1945 patřil Zámrsk Gottlům, za nichž roku 1924 vyhořel. Zámek opravený v letech 1925-6 byl roku 1945 převzat státem, v letech 1950-60 v něm byl umístěn výchovný ústav pro mládež. Od roku 1960 až doposud je sídlem Státního oblastního archívu..
V místech dnešního severního křídlo byla dostavěna další budova, jejímž pozůstatkem jsou žebrové klenby v průjezdu a přízemních arkádách obou křídel. Pod omítkami byly objeveny i zbytky sgrafitové výzdoby fasád. Barokní přestavba za Kolovratů proběhla ve dvou etapách. Ve druhé polovině 17. století byly stávající budovy přestavěny a půdorys doplněn do lichoběžné podoby o jižní a západní křídlo s valeně klenutými arkádami. Jihozápadně od zámku byla zřízena zahrada. Ve vrcholném baroku někdy počátkem 20. let 18. století bylo dostavěno či přestavěno jižní křídlo. Jeho průčelní část s dominantním bohatě profilovaným portálem byla zvýšena o jedno patro a na jeho západním konci doplnila siluetu zámku nová třípatrová polygonální věž s cibulovitou mansardovou střechou. Obdobně byla upravena i protější jihovýchodní věž. Za autora přestavby považuje literatura Jana Blažeje Santiniho-Aichela, který v té době pracoval na nedalekém Rychnově nad Kněžnou – ten patřil bratranci zámrského zámeckého pána, který svému příbuznému zřejmě svého oblíbeného architekta „dohodil“. Při opravě Jeníků z Gamsendorfu se celkový vzhled zámku příliš nezměnil, byly obnoveny střechy a fasády, k drobným zásahům došlo i v interiérech. Z opravy po požáru roku 1924 pochází dnešní střechy, část fasád a rozdělení interiérů. Další úpravy následovaly i při přípravě pro využití jako výchovný ústav a archív.
Před zámkem je velice pěkný kostel se samostatně stojící věží a za zámkem (750m) je hřbitov s hrobkou..
Zatímco zvířata se podařilo vyprostit, tak ony lidi už prý nikdo nikdy neviděl... Reálný základ pověstí o těchto podzemních chodbách lze snad spatřovat ve skutečných zámeckých sklepeních. Jejich existence je nezpochybnitelná a část z nich existuje a je přístupná i dnes. Konkrétně zpod JZ strany zámku vychází podzemní chodba směrem k řece, do tzv. černé zahrady. Do východní části tohoto prostoru přitom nelze vstoupit, neboť chodba končí zaslepením..