
Počátkem 14.století patřila Želetava rodu Hodických z Hodic. Až v roce 1368 prodává Oldřich ze Želetavy obec i s tvzí a mlýnem bratřím z Vajtmile. Již v roce 1370 získal zboží markrabě Jan a potom už obec vystřídala celá řada majitelů. Krátce před husitskými válkami ji vlastnil Heřman z Hradce a po něm jeho dcera Eliška. Ta se po smrti svého prvního manžela Jana z Kravař v roce 1401 provdala za Jiříka z Lichtenburka. Vznikly tak spory mezi Lichtenburky a Hradeckými. Poté bylo zboží v roce 1415 připojeno k Telči. V období husitských válek tvrz zanikla a na její obnově již nebyl zájem. V roce 1583 se na místě tvrze postavil hřbitovní kostel, který tam spolu se hřbitovem stojí dodnes. Ke stavbě nového pánského sídla v Želetavě došlo až o 150 let později, a to v místě tehdejšího dvora.
Tvrz zaujímala plochu 40 x 35m. Ve stopajícím hřebenu lze očekávat zasypaný příkop, který obíhal hrádek na jižní straně, na severní straně ústil do přikrého svahu k potoku. Dnes jsou na těchto stranách znatelné terénní stupně s chalupami.