
První zmínka o tvrzi ve Zhoři pochází z počátku 17. století. Tehdy si tu majitel vesnice Zhoř, Adam Vchynský z Vchynic, nechal vystavět tvrz. Po roce 1620 mu byl ale majetek zabaven a o tři roky později jej koupil František de Couries. V roce 1672 získal tvrz i statky Emanuel Hildprant z Ottenhausenu. Právě ten nechal tvrz ve Zhoři přestavět na zámek. Bohužel, jméno architekta se nám nedochovalo. Po smrti Emanuela Hildpranta převzal panství jeho syn, jehož jméno taktéž neznáme. V roce 1754 současný majitel zámku, Karel Josef Hildprant, zakoupil Slabce a usídlil se na tamním zámku. Od té doby zůstala Zhoř víceméně opuštěná. Nejprve sloužila jako radnice, posléze zde byly zbudovány kanceláře pro císařské úředníky a roku 1876 byla část zámku stržena a zbytek přestavěn na cukrovar, později na lihovar a na sýpku. Od té doby sloužil zámek ve Zhoři k hospodářským a zemědělským účelům a zchátral velmi rychle.