
Tvrz stávala v místě dvora, v těsném sousedství silnice spojující ves Myslotín (část města Pelhřimov) a obec Ondřejov, na jejímž katastrálním území se Holákov nachází. V okolí stojí za pozornost terénní pozůstatky tvrze v Ústrašíně, zámky v Libkově Vodě a Božejově či městská památková rezervace Pelhřimov.
Snad v důsledku husitských válek přechází do majetku místních vladyků (nejdéle kolem poloviny 15. století, neboť roku 1456 je vzpomínána Anna, vdova po Vaňkovi z Holákova), poměrně záhy se začínají objevovat indicie svědčící pro existenci nějakého sídla. Tak se dozvídáme, že roku 1466 postoupil jistý Jan Hrúček „seděnie svého v Holákově konšelům Pelhřimovským, aby měli moc je osaditi a najíti, komuž by chtěli.“ (Sedláček 1885, s. 188) August Sedláček na základě této zmínky soudí, že Holákov býval šošovním statkem města Pelhřimova (tj. s povinností odvádět městu poplatky). V roce 1489 zde seděl Mikuláš Holakovský z Proseče. Rod Holakovských vlastnil místní statek až do roku 1593, kdy ho Jan Holakovský z Proseče prodal Kryštofu ml. Leskovcovi z Leskovce, který ho připojil k božejovskému panství. Jediná přímá zmínka o tvrzi pochází z roku 1598, tedy z doby, kdy již její majitelé sídlili na výstavnějším sídle v Božejově. Roku 1630 se již připomíná jen dvůr. Do druhé poloviny 15. až první třetiny 16. století jsou datovány zlomky pozoruhodného kachle s vyobrazením sv. Václava s husitským kalichem na praporci, nalezené při stavbě silnice procházející v blízkosti dvora..