Po vymření Přemyslovců a za nástupu krále Jana Lucemburského na český trůn byly východní Morava znepokojována vpády ambiciózního uherského magnáta Matúše Čáka Trenčanského. V roce 1314 byl patrně vypleněn vizovický klášter a ušetřeny nezůstaly ani některé východomoravské hrady (archeologicky je tato skutečnost doložena v případě hradu Rýsova nad Provodovem a zdá se, že také Brumov byl v té době poškozen). Teprve porážkou Matúšova vojska v bitvě u Holíče králem Janem Lucemburským skončila nevítaná pozornost obtížného souseda, kterou věnoval oblastem jihovýchodní Moravy, jak nás o tom zpravuje Zbraslavská kronika.
Vojensky se Brumov uplatnil kolem roku 1315 a jeho význam navíc potvrzuje i skutečnost, že v rámci brumovského panství existovala nejméně od 14. století soustava tzv. manských statků.
Manové - byli to drobní šlechtici, kteří drželi lénem nevelké majetky a byli vázáni k Brumovu vojenskou službou. Brumovští manové se původně dělili na 2 vrstvy:
manové praví - byli rodem šlechtici, jednalo se o držitele větších lén (manství), kteří i po přijetí léna zůstávali nadále osobně svobodní
manové nesvobodní - byli původu neurozeného, jednalo se o držitele drobných statečků a byli závislí na vrchnosti i svou osobou.
V pramenech 15. a 16. století se všichni držitelé vasalských (manských, lenních) statků na Brumovsku nazývají prostě "manové"; r. 1520 se výslovně uvádí zmínky o dvou manstvích - v Jestřabí (zde měl man i tvrz) a v Mirošově. Jinak se zdá, že pro svůj význam zůstával Brumov ve 14. století převážně v moci českých králů a moravských markrabat. Svědčí o tom aspoň fakt, že na Brumově je doložena přítomnost tehdejšího moravského markraběte (pozdějšího krále a císaře) Karla IV. , který tu roku 1342 datoval jednu ze svých listin (jednalo se o koupi vsi Záhlinic u Hulína ).
Na počátku doby husitské byl hrad v moci pana Bočka mladšího z Kunštátu. Ten byl stoupencem kališníků a odpůrcem krále Zikmunda. V době husitských válečných tažení se zde panovník zdržoval, o čemž svědčí listiny, které v Brumově datoval mezi 16. a 26. říjnem 1421 (bohužel nevíme, zda byly tyto listiny vyhotoveny pod brumovským hradem a nebo přímo na hradě, který by tak byl dobyt. O tři roky později, roku 1424, se Boček bránil vojsku olomouckého biskupa Jana Železného, který Bočka z Kunštátu porazil v bitvě u Slušovic. Jinak se dovídáme, že Zikmund roku 1424 zastavil část brumovského panství Miroslavovi z Cimburka. Hrad s panstvím pak následně roku 1426 odevzdal své druhé manželce, královně Barboře Celské. V jejich službách se na Brumov dostal jako purkrabí známý válečník a protivník Jana Jiskry z Brandýsa, Pankrác ze Sv. Mikuláše. Ten držel Brumov až do čtyřicátých let 15. století, kdy jej vyměnil s pány z Cimburka za hrad Engelsberg, jinak zvaný též Sehradice.
Někdy kolem roku 1440 získali zástavní držbu Brumova páni z Cimburka. Bernard z Cimburka si vytvořil z hradu opěrný bod svých výprav podnikaných hlavně do Uher. Hrad byl v té době dobře opevněn a velmi dobře vyzbrojen (z písemných pramenů se dovídáme, že již před polovinou 15. století byly na hradě tarasnice a houfnice - děla, množství píšťal - předchůdce pušek a zásoby střelného prachu). V zástavním držení Cimburků byl hrad ještě v šedesátých letech 15. století, když po Bernartovi následoval v držení jeho strýc Miroslav a po něm přešlo panství na příbuzného Jana Jičínského z Cimburka, který patřil mezi přední dvořany krále Jiřího z Poděbrad.
Kolem roku 1468 byl brumovský patrně hrad dobyt vojskem Matyáše Korvína a vzápětí přešla zástava hradu do rukou uherské šlechty Podmanickým z Podmanína, z nichž se Ladislav Podmanický uvádí na Brumově již v roce 1474. Podmaničtí získali nakonec brumovské panství do plného vlastnictví, a to po roce 1500, kdy se Vladislav II. vzdal svého vlastnického práva ve prospěch Jana z Lomnice, Podmaničtí od něj však tato vlastnická práva odkoupili a nechali si je roku 1503 potvrdit panovníkem. Brumov tehdy přestal být královským majetkem a už navždy zůstal vlastnictvím šlechty. Významnými daty se staly pro Brumov roky 1499 a 1500, kdy král Vladislav II. povolil městečku trhy, právo jarmarku, udělil právo hradišťské a povolil užívání pečeti.
Netrvalo pak ale dlouho a Podmaničtí z Brumova odešli, neboť jej r. 1519 prodali Janovi z Lomnice. Jak Jan z Lomnice, tak jeho syn Adam si zvolili Brumov za své hlavní sídlo a věnovali nejen hradu, ale i celému panství velkou pozornost. Adam z Lomnice přestavěl a zvětšil brumovský hrad, jak dosvědčuje známý genealog a heraldik Bartoloměj Paprocký z Hlahol, který Brumov později osobně navštívil. Roku 1538 založil Adam na svém panství nové rybníky a v roce 1537 povolil obyvatelům Brumova a přilehlých obcí právo od "úmrti" (= majetek poddaných již nespadal pod vrchnost, ale mohl se dědit). Roku 1533 Jan zemřel a jeho náhrobek byl zazděn v bylnické kapli brumovského kostela spolu s náhrobkem jeho sestry Maruše a synka Jana.
Od Lomnických získal panství i s hradem v roce 1574 Zdeněk Říčanský Kavka z Říčan. Svým poddaným v Kloboukách a Brumově udělil několik výsadních listin. Dne 6. září 1578 potvrdil Brumovským jejich dosavadní svobody (např. udělil městečku svobodný vinný šenk) a téhož roku vydal kněžím řád církevní. Roku 1582 Zdeněk Kavka zemřel (byl zavražděn u Zádveřic) a brumovské panství odkázal svým synovcům, ale pod podmínkou, že se ho ujmou až po Zdeňkově manželce Johance Trčkové z Lípy. Mezi r. 1582 a 1599 vlastnická práva k Brumovu náležela Kavkovým synovcům, avšak v užívání panství se vystřídalo několik osob (Johanka Trčková z Lípy, Emerich Forgáč, Magdalena z Lomnice).
Jan Říčanský Kavka z Říčan (1599) měl s držbou panství komplikace, ke kterým přispěla řada událostí: roku 1605-1606 vpád bočkajovců z Uher na Moravu, roku 1608 mu byl Brumov nakrátko zabrán, později, roku 1619, mu vzbouření moravští stavové panství zkonfiskovali a roku 1621 se brumovského hradu zmocnili vzbouření místní Valaši, kteří načas převzali vládu nad panstvím. To vše vedlo Jana Kavku z Říčan k tomu, aby roku 1622 odprodal Brumov uherskému rodu Apponyiů. Text: historie
24.3. 2003 - WEB - brumov