
Není pochyb o tom, že v Jimramově tvrz stála. Jen se uvažuje o dvou možných místech. První, často uváděné literaturou, je místo, kde dnes stojí zámek. Ovšem místní tradice ji zásadně uvádí na klesající nízké ostrožně nad soutokem Svratky a Fryšávky. Dnes na tomto místě stojí dva domky, čp. 50 156. Tato poloha je opravdu vhodná a pro sídlo typická. Této možnosti nasvědčuje i to, že v jednom z domů se zachoval valeně klenutý sklep a také na jižním a především východním okraji se zachovaly pozůstatky možného hrazení, které ostře kontrastují s novodobou zdí. To však může potvrdit jen archeologický výzkum. Proto je potřeba místo zde uváděné brát zatím jako podmíněné.
Dále se uvádí v roce 1392, v té době však došlo k vybudování blízkého hradu Skály a tvrz byla buď opuštěna nebo nejpozději v husitských válkách zničena a dále se již neuvádí..