
Jedna z mála věcí, která se ze zámku zachovala, byla rytina z roku 1800 (viz. fotogalerie). Ukazuje Zhoř jako mohutnou vysokou stavbu s dlouhým parkem. Dnešní podoba zámku je velmi odlišná. Na ruině zámku je sice vidět její někdejší mohutnost a výška, ale dnes je téměř ze všech stran zastavěná hospodářskými budovami. Pouze na zdech zámku se dochovaly fragmenty fresek, bohužel jsou téměř zaniklé.
Místo dnes slouží soukromým účelům a tudíž je nepřístupné.
Po roce 1620 mu byl ale majetek zabaven a o tři roky později jej koupil František de Couries. V roce 1672 získal tvrz i statky Emanuel Hildprant z Ottenhausenu. Právě ten nechal tvrz ve Zhoři přestavět na zámek. Bohužel, jméno architekta se nám nedochovalo. Po smrti Emanuela Hildpranta převzal panství jeho syn, jehož jméno taktéž neznáme. V roce 1754 současný majitel zámku, Karel Josef Hildprant, zakoupil Slabce a usídlil se na tamním zámku. Od té doby zůstala Zhoř víceméně opuštěná. Nejprve sloužila jako radnice, posléze zde byly zbudovány kanceláře pro císařské úředníky a roku 1876 byla část zámku stržena a zbytek přestavěn na cukrovar, později na lihovar a na sýpku. Od té doby sloužil zámek ve Zhoři k hospodářským a zemědělským účelům a zchátral velmi rychle..