
Tvrziště se nachází na navrší východně od kostela. Tvrziště je ovál nepravidelného tvaru, který je dokola obehnán příkopem, na severní straně s předsunutým valem. Archeologický výzkum odkryl situaci v JV části vlastního tvrziště, kde odkryl obvodovou hradbu o šířce 1,7 metru, na kterou navazovala nevelká stavba ze slabšími stěnami (1,2 m) čtvercového půdorysu, do které se vstupovalo portálem z nádvoří. Dle názoru vedoucího archeologických prací jde o věž. Tyto pozůstatky pochází ze 13. století. V této části byly objeveny i pozůstatky mladších staveb. Významným stavebním materiálem použitým na této tvrzi, dle archeologického průzkumu, bylo dřevo. Prohlubně nacházející se uprostřed tvrziště souvisí s nedávnou vojenskou činností. Datace zdí nalezených archeologickým výzkumem nabízí domněnku, že objekt byl malým hradem, nebo jednou z nejstarších tvrzí v Českém království.
Dle archeologického výzkumu v letech 1986–1989, tvrz zanikla požárem v první polovině 15. století a nebyla již obnovena. Koncem 15. století vlastní panství Jindřich z Plavna. V roce 1510 získává panství Jiří Plick z Plickensteina. V roce 1568 jej získávají Zedvicové. Tento rod prodává Bražec v roce 1581 vdově po Kašparovi Collonovi z Felsu Anně Karolíně Collona, rozené Šlikové, která jej připojuje k panství, jehož střediskem byla Andělská Hora. Od roku 1622 patří Bražec Černínům a je připojena k panství Stružná..