
Téměř nad městem Brandýsem nad Orlicí se nacházejí poměrně rozsáhlé zříceniny hradu, ze kterého se dochovalo několik místností. Hradní areál je opravován a udržován občanským sdružením.
Kolem roku 1300 patřil Oldřichu z Brandýsa, který byl něčím pověstný. Roku 1421 za pánů z Boskovic, straníků Zikmunda byl společně s nedalekým klášterem na Orlíku dobyt a pobořen husitským vojskem. V r. 1421 přešel do majteku pánů Kostků z Postupic a od r. 1505 patřil Pernštejnům. Za nich byl pobořen znovu a teprve Bohuš Kostka z Postupic po zpětné koupi dal hrad opět opravit. Hradní budovy však rychle chátraly a byly brzy opuštěny. Majitelé panství si pak vystavěli malý zámeček na dnešním náměstí. Hrad měl čtyři části: předmostí, předhradí, přední a zadní hrad. Byl obehnán třemi příkopy a byl střežen třemi věžemi..
Hrad však vznikl až za pánů z Brandýsa pocházejících ze Saska a používajících přídomku po svém sídle Brandis v blízkosti Lipska. Z tohoto rodu se u nás poprvé připomíná ve službách krále Václava II. Jindřich z Brandýsa, který krále doprovázel v r. 1289 do Olomouce a r. 1297 do Trutnova. Zda již on postavil brandýský hrad, nelze prokázat. Hrad však patrně stál za Oldřicha z Brandýsa připomínaného v l. 1308–1323, který je v r. 1308 uváděn ve Zbraslavské kronice mezi těmi šlechtici, kteří ze svých sídel plenili východočeské statky Zbraslavského kláštera. Celková půdorysná dispozice hradu nasvědčuje, že vznikl na přelomu 13. a 14. století. Zakladatel si pro hrad vybral strategicky výhodné místo v sousedství vsi Loukotě. Ostroh, který zde vybíhá ze strání nad pravým břehem Tiché Orlice a končí nad středem dnešního města, opevnil směrem k východu, kde souvisel s okolím, systémem tři příkopů; tak vznikl vlastní hrad a dvě předhradí. Tato půdorysná dispozice i s příkopy je v původní podobě v podstatě zachována dodnes. Na předhradích opevněných kamennou hradbou bylo v převážně dřevěných stavbách umístěno hospodářské příslušenství hradu. Nevelký, ale přírodními podmínkami dobře zajištěný prostor vlastního hradu, vyplnil hradní palác postavený na opukových skalách na podkovovitém půdoryse. Jeho jihovýchodní nároží bylo zesíleno věží, přístup k paláci býval pravděpodobně bránou v prosté zdi, která k východu uzavírala nevelké palácové nádvoří. Kolem paláce již nebyly hradby, nýbrž byl chráněn jen strmými skalnatými boky ostrohu. Proto stavba paláce byla vysoká a okna byla umístěna jen v nejvyšších, dnes zcela zmizelých patrech. Oldřich z Brandýsa se naposledy připomíná v r. 1323 a až do r. 1360 zprávy o majitelích Brandýsa chybějí. Teprve v r. 1360 se jako patron brandýského kostela a tedy i jako majitel panství připomíná příslušník mocného moravského rodu Jan z Boskovic. Po jeho smrti (1363) držel panství syn Tas z Boskovic, který užíval někdy i přídomku Brandýský. Tas zemřel kolem r. 1405 a Brandýs zdědil jeho syn Jan z Boskovic, stoupenec císaře Zikmunda a odpůrce husitství. Na podzim 1420 stál v čele obrany Vyšehradu proti revoluční Praze. Jan se naposledy připomíná v r. 1423. Jan nebo jeho dcera Veronika prodali Brandýs Smilovi Holickému ze Šternberka, který se jako majitel připomíná v I. 1429–1431. Zprávy o osudech Brandýsa v době husitského revolučního hnutí se nedochovaly. V polovině 15. století již náležel význačnému husitskému šlechtickému rodu Kostků z Postupic. První z nich Zdeněk, hejtman Chrudimského kraje, hrad v r. 1464 postoupil svému bratru Janovi. Jan si zvolil Brandýs za své hlavni sídlo. V r. 1483 na brandýském hradě potvrdil privilegia městečka Brandýsa. A to je první zpráva o hradě. Jako majitel Brandýsa se Jan naposledy připomíná v r. 1486. Na konci 15. století náležel Brandýs Janovým synům Bohušovi a Janovi. Ti v r. 1506 prodali brandýské panství, k němuž kromě hradu a městečka Brandýsa patřilo ještě 32 vsí, Vilémovi z Pernštejna. Vilém hned po získáni panství přikázal zbořit hrad, část vsi oddělil od brandýského panství a připojil je k svému panství pardubickému; zbytek byl spravován z Potštejna. Po Vilémově smrti v r. 1521 převzal Brandýs jeho syn Jan z Pernštejna, který v r. 1544 prodal panství zpět Kostkům z Postupic, a to Bohuši Kostkovi. Tehdy se již brandýský hrad uvádí jako pustý. K panství kromě Brandýsa patřilo ještě 16 vsí. Bohuš Kostka se aktivně účastnil protihabsburského odboje v l. 1546–1547 a po jeho porážce jej Ferdinand I. potrestal konfiskací celého majetku. Jako manství mu ponechal do konce života pouze brandýské panství s městečkem a 26 vesnicemi. Kromě toho Bohuš Kostka nesměl opustit Brandýs, který mu byl vykázán jako sídlo. Proto byl nucen opravit hrad vážně poškozený zásahy Viléma z Pernštejna. Opravy byly ukončeny před r. 1553, neboť v tomto roce se v Brandýse hrad opět připomíná. Úpravy zasáhly především hradní palác. Tehdy byla zřízena velká okna, z nichž je jedno dosud zachováno, a upraveny interiéry budovy. Ale ani přestavěný hrad neposkytoval dostatek pohodli, a proto po r. 1553 postavil Bohuš Kostka v podhradí nový zámek. Na hradě se potom zdržoval jen zřídka. Další majitel brandýského panství Karel starší ze Žerotína o opravený hrad již neměl zájem a nechal ho zpustnout. Jako pustý se opět připomíná v r. 1632. Od této doby hrad již nebyl opravován a jeho zříceniny byly rozebírány na stavbu domů ve městě, takže se zachovaly jen skromné zbytky. Jsou to především tři příkopy, z nichž nejmohutnější je přikop mezi prvním a druhým předhradím, který je 4 m široký a místy dosud až 5 m hluboký. Ze staveb předhradí se zachovaly jen křovím zarostlé základové zdi. Z hradního paláce jsou zachovány těžko přístupné sklepy a několik obvodových zdí. V jedné z nich je jediné na hradě zachované okno. Celý hradní areál je zalesněný..
Uchýlil se do Vratislavě ve Slezsku, kam s sebou vzal svou oblíbenou knihovnu. Následovala ho i jeho choť Kateřina, ušlechtilá žena, která svou laskavostí setřela tak mnohou slzu z oka českých exulantů. Jen občas vraceli se manželé na své statky na Moravě a v Čechách, litujíce, že nemohou žíti ve vlasti. Při návštěvě r. 1636 zemřel pan Žerotín v Přerově. Podle svého přání byl převezen do Brandýsa. Zde ho vyprovodilo k hrobu množství zkormouceného lidu. Byli tu ještě mnozí, kteří měli v dobré paměti, jak statečně hájil Bratří proti pronásledování, jak roku 1624 strhl vlastní rukou pečeti se dveří bratrského chrámu, zavěšené tam na rozkaz pražského arcibiskupa. Byl uložen do měděné rakve a pohřben v rodinné hrobce „na Loukotí“, jež byla poté zazděna. Mrtvý klid se rozhostil na opuštěném hřbitůvku, kam nebyl již nikdo pochováván. Kostelík, v němž se kdysi scházeli Čeští bratři k bohoslužbám, propadl skáze, neboť Bratři byli rozprášeni po světě jako stádo ovec. Když pak vymřeli současníci a nová řada let přešla přes Brandýs, změnilo se vše v hromadu cihel, zanesenou zemí, zarostlou trávou a trním… Jen neurčité pověsti kolující v lidu uchovávaly v paměti, že v těch místech stával kdysi kostelík a že tu bývala hrobka, do níž byli ukládáni páni ze Žerotína v drahocenných, stříbrných rakvích. Proto kopali lidé časem na rumišti a zkoušeli štěstí, nepodaří-li se jim snad náhodou objeviti zmizelou hrobku. – Roku 1724 byla objevena pasákem chodba, vedoucí pod zem a za ní klenutá síň, v níž stály řady rakví. Nebyly však ze stříbra. Dvě byly z mědi, jedenáct z cínu. Nastal shon, lid se chtěl vrhnouti na rakve a drancovati v nich, neboť se domníval, že jsou v nich klenoty a peníze. Úřady zakročily a chtěly zabaviti vše, co tu bylo cenného, ve prospěch státu. Vznikl spor o nález mezi dědici Žerotínů a státem a vlekl se po třiadvacet let. Skončil tím, že rakve a klenoty připadly kostelu a potomkům Žerotínů se dostalo odškodnění v částce pětiset zlatých. Rakve byly zotvírány, ostatky mrtvých byly zbaveny hamižnýma rukama lidských hyen všeho cenného, holé kosti pak setřeseny do jediné dubové rakve a ta hozena zpět do prázdné hrobky. Když se dřevěná rakev rozpadla, byly rozmeteny kosti do všech koutů hrobky. Tak nešetrně naložila surovost doby s pozůstatky slavného rodu, tak byly zneuctěny i ostatky věhlasného Karla ze Žerotína, muže, který rozhodoval kdysi o osudu Moravy a o jehož přízeň se ucházeli králové i císařové!
Teprve za sto let rozpomněli se potomci Žerotínů žijící na Moravě na povinnost k svým předkům a dali kosti, nad nimiž se kdosi smiloval a uložil je do země, opět vykopati a převezli je na Moravu..