
Vranová Lhota patřila ve 14. století k panství hradu Vraní Hora pánů z Boskovic. Roku 1389 byl hrad při vojenské kampani markraběte Jošta zničen a panství bylo zkonfiskováno. Markrabě, který byl neustále ve finanční tísni, jej poté zastavoval různým držitelům, kteří brzy ve Vranové Lhotě náhradou za zničený hrad postavili v záhybu říčky Třebůvky novou tvrz poprvé připomínanou roku 1406, kdy zástavu získali páni z Vildenberka.
Na přelomu 15. a 16. století některý z často se střídajících zástavních držitelů starou tvrz výrazně přestavěl a rozšířil. Nejvážnějšími kandidáty jsou Jiří Lhotský z Ptení a jeho syn Vítek, kteří Lhotu drželi v letech 1507-16. Souvislost lze snad hledat i s obnovou města po ničivém požáru roku 1509. Koncem 16. století byly za Dětřicha Lhotského z Ptení nebo za Jana Kobylky z Kobylího prováděny další úpravy převážně v interiérech. Po celé 17. století na tvrzi sídlili Drahanovští z Pěnčína, poté, co byla roku 1714 Libštejnskými z Kolovrat připojena k biskupickému panství sloužila již jen k provozu hospodářského dvora a tomu odpovídala i péče, které se objektu dostávalo.
V letech 1874-1945 patřily Biskupice spolu s Vranovou Lhotou Thurn-Taxisům, kterým byly Benešovými dekrety zkonfiskovány.Vranovský zámek převzala obec, které sloužil kulturním účelům (tělocvična, kinosál atd.) a přilehlý poplužní dvůr potřebám zemědělského družstva. Nedostatek péče však pokračoval a dnes je celý areál ve velmi zanedbaném stavu. Jistou naději skýtá nedávné převedení objektu do soukromých rukou, nová majitelka již zahájila postupnou rekonstrukci hodnotného objektu.
Pozdně gotická tvrz měla přibližně čtvercovou dispozici (28x28 m), obklopena byla dnes zasypanými příkopy. Nově bylo postaveno obdélné patrové západní křídlo se zdmi o síle až 1,8 metru, jehož vnější nároží zesilovaly dvě nakoso postavené věžice – severní byla plná, v jižní je v obou úrovních drobná čtvercová místnost. Nové jižní křídlo s průjezdem pohltilo zbytek starší fáze z konce 14. století. V nádvoří na styku obou křídel bylo postaveno točité schodiště. Pod oběma křídly jsou rozměrné valeně klenuté sklepy. V ostěních oken, portálů i průjezdu se mísí pozdně gotické s raně renesančními prvky. Celek byl od severu uzavřen hradbou, která zřejmě pokračovala i na východní straně. Slohově je tato pozdně gotická přestavba velmi příbuzná nedaleké Moravské Třebové a téměř jistě je dílem stejné boskovické stavební huti. Z vrcholně renesačních zásahů konce 16. století lze identifikovat pouze zaklenutí přízemí, snad do této doby patří i ve zlomcích dochovaná sgrafitová výzdoba fasád. Výraznější a ne příliš vhodné úpravy přinesl až klasicismus. Dostavbou jihovýchodní části jižního křídla bylo vyrovnáno průčelí, poškozena však byla starší gotická budova. Rozlehlé prostory byly získány vybouráním příček prvního patra. Při východní straně nádvoří bylo postaveno nové, dnes zbořené, klasicistní křídlo..