
Tvrz doložena rokem 1492 jako majetek pánů z Víckova. Na přelomu 16. a 17. století ji Zahrádečtí ze Zahrádky přestavěli v renesanční zámek. V letech 1679–1825 patřil Rodenům z Hirzenau a Hagendorfu. V 2. polovině 18. století upraven barokně (hlavně fasády a interiéry). Po roce 1825 se majitelé, kteří již v zámku nesídlili, rychle střídali (Harnoncourtové, Sinové, Dreherové) a zámek sloužil jako hospodářská budova, nebo obydlí nájemce dvora.
Tito majitelé se zadlužili a jejich věřitelé prodávají panství v roce 1406 Elišce (vdově po Petříkovi ze Smrku), ta se zde usadila z dcerami Uršulou (Voršilou) a Annou a druhým manželem Benešem z Olbramovic, a tím vznikl předpoklad pro vznik sídla. V roce 1434 se uvádí Beneš z Krhova, je možné, že už je to syn. Na Krhově měla podíl i jeho nevlastní sestra Uršula, která žila ještě v roce 1448. Beneš z Krhova nabyl značného majetku a po otci zdědil hrad Holoubek. Během husitských bouří ke stavbě kamenného sídla nedošlo, tato potřeba nastala až po ztrátě hradu Holoubek, který byl mezi léty 1440–1446 zbořen. V té době už mohla být vybudována tvrz, které část je dosud dochována v SV nároží zámku. Podmínky pro její vybudování zlepšilo scelení panství v rukách Uršulina syna Jana, který je v roce 1448 uváděn jako Jan ze Skalice a roku1464 už jako Jan z Krhova. Po něm zdědila panství jeho dcera Kateřina, které druhý manžel Filip z Víckova a Rusínovic v roce 1492 panství s tvrzí prodává (první zmínka o ní) Janu Zelenému z Říčan, který se v Krhově usazuje a přikupuje Bačice a Uderčice. V rozšiřování panství pokračuje i jeho syn Burian a proto může jeho vnuk Jan II. Zelený z Říčan přikročit k rozšíření sídla. V té době vzniklo západní a jižní křídlo. Po jeho smrti získává panství Jan Zahrádecký ze Zahrádek. Za jeho vnuka Jana vzniklo v rozmezí let 1600–1620 křídlo východní. Tuto dostavbu dokončil jeho syn Jindřich Zahrádecký, jenž byl za účast ve stavovském povstání odsouzen zemským direktorem ke ztrátě majetku, ale včas se kál a trest mu byl prominut. V roce 1679 ztratil zámek připojením k panství Hrotovice sídelní funkci. Sídlem se zámek znovu stává až roku 1759, kdy zde sídlil František Roden z Hirzenau a Hagendorfu, který jej přestavěl ve slohu pozdního baroka. Od roku 1826 se majitelé často střídali a jen zčásti využívaný zámek chátral. Po roce 1882 byla za majitele Antona Drehera jeho nejmladší část (pozdně barokní severní křídlo) radikálně přestavěna na lihovar. V rámci pozemkové reformy přechází panství na rodinu Odehnalů, která o majetek přichází po roce 1948. V dalších desetiletích byl zámek barbarsky upraven pro potřeby družstva. V rámci restituce bylo panství i se zámkem rodině Odehnalů navráceno a rodina začala s opravami zámku..