
Nejstarší zmínka o Libomyšli se dochovala z r. 1370, kdy ves drželi Oldřich a Smil. Na počátku 15. století zde seděl Stach z Doubku (†1427), po něm Habart z Vraného, kterého vystřídal jeho syn Vilém (zemřel asi r. 1457). Za něho se v r. 1454 připomíná poprvé v Libomyšli tvrz, dvůr a mlýn. Od r. 1482 byli majiteli statku Vamberští z Rohatec. Na počátku 16. století se bratři Vamberští o statek rozdělili tak, že Oldřich dostal tvrz, dvůr a části vsi Libomyšle a další dvě pusté vsi, druhou polovinu Libomyšle a vesnice Bavoryně a Otmíče Petr. Od této doby měly obě poloviny statku různé osudy; teprve r. 1570 byl první díl Libomyšle a před polovinou 17. století i druhý díl připojen ke statku Lochovice.
Tvrz, připomínaná v Libomyšli ještě v r. 1543, přestala sloužit v důsledku majetkových změn jako sídlo majitele statku, byly opuštěna a zanikla. R. 1698 vznikla na tvrzišti kaple sv. Jiří, která však byla r. 1787 zrušena a zbořena. V 19. století bylo tvrziště v lidové romantizující tradici považováno za Kazinu mohylu. Tvrz stávala na nízkém kopečku u vsi v lukách, kde se dosud říká Hrádek. Kromě základů v zemi a velkého okrouhlého příkopu se z ní nic nedochovalo, ačkoli ještě F. A. Heber zde na počátku 19. století viděl hluboké díry po propadlých sklepech.
Nazývá se Hrádek podle středověké tvrze, která na něm stávala. Zbyl po ní příkop, obkružující vrchol, a prohlubně po propadlých sklepních místnostech. Neví se ani, kdo ji postavil a kdo na ní sídlil. Historici soudí, že pahorek určitě nebyl navršen při stavbě tvrze; pro středověké stavitele by bylo nesmyslně nákladné budovat tak mohutný násep v údolí mezi přirozenými kopci, nabízejícími neméně dobré obranné možnosti. Pro stavbu byla prostě využita dávná obří mohyla. Hrádek je zřejmě jedním z největších umělých kopců u nás, nad terén se zdvíhá do výše kolem 30 m. Váže se k němu spousta pověstí o dutinách, sklepích a chodbách v jeho nitru. Jednomu muži se prý podařilo proniknout do zpola zavaleného sklepení, ale při odkopávání zeminy zaslechl, jako by někdo kopal proti němu, zděsil se a utekl. Tvrdí se, že o Hrádek se velice zajímali jezuité, chtěli tu stavět kapli a také oni zde ukryli nějaký poklad, když byl jejich řád zrušen. Zjevuje se tu Bílá paní a po svazích Hrádku se za bouřlivých nocí často kutálí ohnivý sud. Podle jedné z teorií má kronikář Kosmas na mysli právě Libomyšl, když hovoří o mohyle bájné kněžny Kazi. Vrcholu kopce vévodí mohutný přes 300 let starý dub. I zde je tedy dodržena tradice: obřadní mohyly měly na vrcholu vždy dřevěný kůl, kamenný sloup, posvátný strom – v křesťanských dobách pak kříž nebo kapli.