
Obec Želetava měla už v roce 1303 farní kostel a byla v držení rodu Hodických. V roce 1368 prodal Oldřich ze Želetavy městečko bratřím z Vejtmile a ti v roce 1370 markraběti Janovi. Již v té době stál na vyvýšeném hřebeni východně od centra obce hrádek, který ale v době husitských válek na počátku 15. století zanikl.
K výstavbě nového šlechtického sídla došlo až o 150 let později, a to ve druhé polovině 16. století. Renesanční sídlo bylo postaveno jako součást dvora, a to u jeho vjezdu na jižní straně. Poslední majitelkou tvrze byla Anna hraběnka Attems - Heiligenkreuzova, dcera německého šlechtice Karla Kammela z Hardeggenu, jenž Želetavu koupil v roce 1862. V jejím vlastnictví zůstala až do roku 1945, kdy ji převzal do vlastnictví stát.
Tvrz byla tvořena obdélnou jednopatrovou budovou o rozměrech 23 x 13 m. V přízemí se dochovaly místnosti zaklenuté valenými klenbami s výsečemi. Fasáda je tvořena sgrafity kvádrového charakteru.