
Heraltice byly v majetku rodu nižší šlechty, jehož členové působili v zeměpanských úřadech ve Znojmě a na Bítově. Ve 2. polovině 14. století se jejich panství začalo "drobit". V roce 1366 markrabě Jan Jindřich část statků udělil lénem Petru Hechtovi z Rosic. V roce 1415 Smil z Heraltic vyřešil spory z Joštem z Rosic útokem a pobořením jeho části tvrze. V roce 1447 ji Oldřich z Heraltic obnovoval na díle Hechtů, ovšem spory mezi dědici Hechtů a Janem z Heraltic trvaly i na konci 15. století. Heraltické statky nakonec v roce 1522 připadly brtnickým Valdštejnům, kteří je připojili k Brtnici, čímž tvrz ztratila svoji sídelní funkci a stala se jen součásti dvora, který se uvádí v brtnickém urbáři z let 1533 - 1538.
Tvrz byla ještě v roce 1790 poměrně zachována, pak byla ale pomalu rozebrána. Zůstal po ní dvůr v jihozápadní části tvrziště. Budovy dvora jsou v částečně pozměněné podobě zachovány dodnes. V jedné z nich je hasičské muzeum.