
Ve druhé polovině 14. století, v době kdy Kaceřov byl v majetku či v nájmu Ctibora ze Švamberka, již stála na místě zámku tvrz. V roce 1430 byl Kacéřov za husitských válek vypálen a tvrz pobořena. O Kaceřov v 16 stol. usiloval Florián Gryspek z Gryspeku a v roce 1539 mu byl Kaceřov zastaven na čtyři generace. Protože tvrz byla zpustlá zahájil v kolem roku 1540 výstavbu zámku. Stavba se postupně dokončovala až do roku 1562. Zámek i obec Kaceřov byly za třicetileté války vypáleny a od té doby zámek chátrá a později sloužil i jako hospodářské skladiště. V roce 1827 koupil Kaceřov hrabě Václav Kliment Metternich, ale ani on o zámek příliš nedbal a nechal jej chátrat. Roku 1875 byla snesena věž v severní části zámku a v roce 1912 zámek vyhořel a dále pustl. V držení Metternichů byl zámek až do roku 1945.
Když Florián Gryspek roku 1588 zemřel, požehnán jsa věkem, přestoupili synové k víře protestantské. Jeho vnukové, sedící na Kaceřově, postavili se za českého odboje proti císaři Ferdinandu II. a vydatně pomáhali veliteli vojska stavovského Mansfeldovi při dobývání Plzně, věrné císaři. Po vítězství na Bílé hoře určil jim vítěz krutý, potupný trest: měli po tři dny státi na pranýři, jejich štíty měl zlomiti kat a poté měli býti vypuzeni ze země. Gryspekové se shromáždili na kaceřovském zámku a pověřili jednoho z bratří, aby se rozjel ke knížeti Lichtenštejnovi, předsedovi konfiskační komise, a prosil za ně všechny o milost. I jel Gryspek ke knížeti a snažně ho žádal o přímluvu u císaře, o shovívavost a odpuštění. Poukazoval na zásluhy Gryspeků, odvolával se na služby, které Florián Gryspek prokázal habsburskému domu. Marné však bylo jeho úsilí o zmírnění rozsudku, marné jeho prosby o slitování. Rozsudek měl nabýti… číst dále