
Ves Doubravice se poprvé zmiňuje roku 1255 v souvislosti s Holáčem. U původně románského kostela lze snad předpokládat starší rezidenční dvůr, který se tam po zániku nedalekého hradu vrátil v podobě tvrze. K tomu došlo pravděpodobně před rokem 1529, kdy Jan Lhotský ze Ptení přepustil již pustý hrad a tvrz Drnovským z Drnovic. K vlastnímu zániku hradu a následně k výstavbě tvrze mohlo ale dojít už v roce 1447, kdy se hovoří o vypálení a zničení hradu Doubravice. Tvrz byla vystavěna na výběžku z terénní terasy východně od kostela. Ve druhé třetině 15. století tvrz ztratila opodstatnění a dále se neuvádí. Už jako pustá je ještě uvedena na Komenského mapě Moravy z roku 1627. Později byla pravděpodobně na jejich základech vystavěna bývalá budova fary, o čemž svědčí zachovalý pravděpodobně románský sklep s lomenou valenou klenbou.
Dnes je totálně přestavěná budova v soukromém majetku a je v ní umístěna dřevovýroba.