
Zámek stojí na terénním výběžku uprostřed obce, působí jako zpustlý, i když je viditelně částečně obydlený a podle lešení se dá usuzovat na nějaké opravy. Brána do předzámčí je však uzavřena a je proto nepřístupný. Na místě zámku stávala původně tvrz, která byla na východní, nejsnadněji přístupné straně, prokazatelně chráněná příkopem. Ten však byl zasypán při stavbě předzámčí. Pravděpodobně byla tvrz chráněná příkopem a valem i na jihu a západě. Pozůstatky tvrze jsou dnes rozpoznatelné na severní straně, ta obsahuje nakoso postavené věžice. Původní tvrz měla rozměry 27 x 19-24 m s obytnou věží, která je dosud obsažena v hmotě zámku.
1509, v 1. 1509 – 1554 pak Kropáčové z Nevědomí. V r. 1618 koupila zboží vdova po Oldřichu z Konic Ludmila, rozená z Roupova za 64 000 zl. V 17. století se zde vystřídala řada držitelů, mezi nimi i ostřihomský arcibiskup Petr Pazmány z Panasu. Za něho byl objekt pozdně středověké tvrze přebudován v barokní zámek, jehož stavba skončila v r. 1667; je to jednopatrová budova s bohatým portálem, s částí sálů zdobených štukami a zámeckým parkem z r. 1667. V r. 1713 získal Litenčice a Chvalnov František Vilém z Thonsernu, po němž je zdědil poslední potomek rodu František Josef Thonsern (1701 1778), který měl značné vědomosti z oboru mechaniky. Ten odkázal panství Františku Maxmiliánu Podstatskému, synu manželčiny sestry, s podmínkou, že nový dědic přijme přídomek „z Thonsernu“. Podstatští-Thonsernové drželi pak zboží až do r. 1948. Byli pohřbíváni v kapli, kterou dali ke kostelu v r. 1742 přistavět Thonsernové. V poslední třetině 18. století přestavěl František Podstatský z popudu své manželky zámecký interiér a vybudoval nové hlavní průčelí se vznosným schodištěm.