
Tvrziště v Kostelní Bříze se nachází severozápadně od kostela při hřbitovní zdi, podoba tvrze která zde stála není známa. Tvrzištní pahorek má rozměry zhruba 18 x 14 m a převyšuje okolní terén až o 1,5 m. Bývalý příkop je patrný pouze v náznacích na severním okraji tvrziště, na východní straně byl poškozen při výstavbě zdi hřbitova.
Dnešní vesnice Kostelní Bříza (pův. Kirchenbirk) vznikla asi již na přelomu 13. a 14. století a patrně od počátku svojí existence patřila k nothaftským a posléze leuchtenberským lénům. Od počátku 15. století byla Kostelní Bříza v majetku Štampachů (Steinbachové ze Steinbachu), kteří drželi Kostelní Břízu až do 30. let 17. století, kdy ji od nich koupili Winklerové z Heimfeldu. Od r. 1682 patřila Kostelní Bříza Multzům z Valdova a posléze dalším rodům. Ačkoliv samotná tvrz v Kostelní Bříze do psané historie nikdy nevstoupila, dá se předpokládat, že vznikla v průběhu 14. století, neboť zde byly při terénním průzkumu nalezeny zbytky keramiky ze 14. - 16. století. Tvrz zřejmě zanikla v 1. polovině 16. stol. v souvislosti se vznikem nového sídla Steinbachů ve vsi, v místě dnešního zámku. Tvrziště je od r. 1958 chráněnou nemovitou kulturní památkou ČR.
Podle pověsti existovala pod tvrzí tajná chodba, která vycházela ze „starého sídla" a měla končit v tzv. Kostelním lese pod tehdejší okresní silnicí (zřejmě silnice do Rudolce).