
Hrad v Milešově se v písemných pramenech objevuje na přelomu 14. a 15. století v držení drobných šlechtických rodů. O jeho podobě díky pozdějším přestavbám mnoho nevíme, dochovala se pouze spodní část subtilního bergfritu.
Roku 1391 jej držel jistý Petrman, roku 1396 Jan Hlava z Hoholic, někdy před rokem 1428 jej získali Kerunk a Václav Kaplířové ze Sulevic, když si později svůj majetek dělili, připadl Milešov Kerunkovi. Ještě roku 1482 jej držel Kerunkův syn Bušek.
Někdy na přelomu 15. a 16. století bylo hradní jádro přestavěno již s raně renesančními prvky. V té době jej neznámým způsobem získali bratři Zbyněk a Václav Pětipeští z Chyš, z nichž Václav jej pak roku 1515 prodal Bedřichovi Sekerkovi ze Sedčic. Jeho synové prodali roku 1534 Milešov Zdeslavovi Kaplířovi ze Sulevic. Z jeho čtyř synů zapsal roku 1548 Milešov do zemských desek Václav. Po jeho smrti drželi od roku 1579 jeho čtyři synové v letech majetek v nedílu, při dělení roku 1583 získal Milešov Jiří Kamarýt, pro velké dluhy však po jeho smrti muselo být milešovské panství prodáno. Od komisařů spravujících pozůstalost jej roku 1603 odkoupil Jiřího bratr Bohuslav. Nejspíš za jednoho z těchto dvou bratří byl v dosavadním předhradí postaven renesanční zámek.
Bohuslav Kaplíř se zapojil do stavovského povstání a snad i proto roku 1621 učinil spolumajitelem Milešova svého nejmladšího syna Jana Václava. Ten se do odboje nezapojil, a proto jeho díl zůstal při pobělohorských konfiskacích nedotčen, zatímco na otcův díl bylo uvaleno manství. Při saském vpádu roku 1631 se Milešova nakrátko zmocnil Adam Kryštof ze Schönau, manžel Bohuslavovy dcery Evy. Roku 1638 byl Jan Václav zavražděn při pitce a následné potyčce po lovu u Kryštofa Chrta ze Rtína. O rok později umírá i jeho otec Bohuslav, a protože byl Jan Václav bezdětný, připadl Milešov synovi jeho bratra Viléma, poslednímu mužskému příslušníku této větve Karlu Kašparu Kaplířovi ze Sulevic. Ten sloužil v braniborském vojsku a právě byl ve švédském zajetí. Roku 1640 sice uprchl, ale dědictví se ujal až poté, co vyhrál soud s vdovou po Janu Václavovi Kateřinou Annou z Nostic.
Během třicetileté války doznalo panství i zámek značných škod, Karel Kaplíř proto sídlil na tvrzi v Medvědicích. Roku 1656 byl za jeho služby Milešov zproštěn manství. Karel Kašpar se v 50. letech pustil do opravy zámku, nebyl však příliš dobrým hospodářem, takže pro velké dluhy nebyla rekonstrukce dokončena. Snad protože neměl mužské potomky, prodal roku 1661 Milešov svému příbuznému z třebívlické větve slavnému válečníkovi a obránci Vídně před Turky Kašparu Zdeňkovi Kaplířovi ze Sulevic (1611-1686).
Kašpar Zdeněk dokázal své služby v císařské armádě zúročit jak společenským (roku 1654 povýšen do stavu svobodných pánů a roku 1674 do hraběcího stavu), tak majetkovým vzestupem. Mohl si proto dovolit i velkolepou přestavbu malešovského zámku. V následujících desetiletích tak v bývalém předhradí vznikl z nevelkého renesančního zámku výstavný raně barokní čtyřkřídlý zámek. Autorství přestavby je připisováno Antoniu Portovi, v posledních letech však je zpochybňováno (Porta je v Čechách doložen poprvé až r. 1668) a hypoteticky se uvažuje o Giulio Broggiovi. Vzhledem k těmto nejasnostem také různí autoři kolísají v přesném určení doby výstavby zámku. Jednoznačně lze Portovi připsat až druhou stavební fázi v 70. a počátku 80. let 17. století.
Protože ze tří manželství neměl Kašpar Zdeněk dědice, vyhlédl si za svého dědice Zikmunda Arnošta Kaplíře. Ani on však neměl mužské potomky, a proto Kašpar Zdeněk nakonec ve své závěti roku 1686 odkázal Milešov (i se stále nedokončeným zámkem) spřízněnému šlechtici Janu Leopoldovi Hrzánovi z Harasu.
Jan Leopold Hrzán přesídlil z nedaleké Skalky na výstavnější Milešov a postupně dokončoval kaplířovské dílo. Jan Leopold zemřel roku 1711 a nově zřízené fideikomisní panství, jehož součástí byl i Milešov za jejich nezletilé potomky spravovala jejich matka Anna Zikmunda Colonnová z Felsu. Po dosažení zletilosti se držitelem fideikomisu stal nezvykle druhorozený Zikmund Gustav a jeho starší bratr Ferdinand Maximilián se věnoval církevní kariéru. bohužel nevíme, co byla příčina a co následek, zda k tomu Ferdinand Maxmilián již v mládi projevoval sklony, a proto majetek dědil jeho druhorozený bratr, či tomu bylo naopak.
Zikmund Gustav Hrzánse angažoval ve zemských stavovských institucích, pokračoval i v úpravách své milešovské rezidence. Po jeho smrti roku 1760 se držitelem fideikomisu stal jeho jediný žijící potomek Jan Josef (1731-1785), po dovršení plnoletosti od roku 1790 pak jeho syn Karel Bedřich (1764-1839). Oba jeho potomci zemřeli již v dětském věku, fideikomis tak spravovali bratři Karla Bedřicha Emanuel Arnošt (do r. 1840) a johanita František Serafinský (†1842). Jím vymřeli Hrzánové po meči a v následujících letech se Milešov stal předmětem komplikovaných sporů o dědictví a následný prodej.
Teprve roku 1857 získal panství Leopold Lažanský, jehož synové jej roku 1866 prodali hraběti Adolfu Benno Ledebur-Wichelnovi, v majetku jehož rodu zůstal Milešov až do roku 1945. Jejich hlavní rezidencí byl převážně zámek v Křemýži, Milešov pak sloužil spíše jako letní sídlo.
Roku 1945 byl Ledebudum jejich majetek zkonfiskován, milešovský zámke krátce sloužil jako rekreační a školící středisko, od roku 1951 jako domov důchodců a od roku 1959 jako léčebna dlouhodobě nemocných a v letech 2001-2023 opět jako domov důchodců. Tomuto účelu již přestal několik staletí starý areál vyhovovat, po přestěhování klientů bylo zvažováno využití objektu například jako muzeum, nakonec jej v roce 2024 Ústecký kraj nabízí k prodeji.