
R. 1474 zastavili Rožmberkové miličínské panství bratrům Děpoldu, Václavu a Ladislavu Popelům z Lobkovic na Chlumci. Ti se pak dělili r. 1490 o majetek tak, že Děpold získal Miličín. Před r. 1541 rožmberská poručenská správa Miličín vyplatila a opět jej připojila k Choustníku. K občasnému pobývání při cestách do Prahy byl v Miličně, pravděpodobně za Viléma z Rožmberka, vystavěn panský dům, který při požáru města v r. 1644 vyhořel.
R. 1593 prodal Petr Vok z Rožmberka miličínské panství Michalu Janovskému z Lisova a na Pacově. Michalovi bratři Mikuláš a Jan prodali r. 1600 Miličín Evě Kaplířové ze Slavkova. V r. 1620 obsadil městečko císařský generál Baltazar Marradas. Po Bílé hoře bylo panství Evinu manželu Kašparu Kaplířovi ze Sulevic zabaveno, on sám odsouzen jako jeden z direktorů odbojných stavů a 21. června 1621 na Staroměstském náměstí v Praze popraven. Manželka Kašparova syna Albrechta, Magdaléna, se marně domáhala vrácení majetku, který Eva Kaplířová odkázala svým vnukům Kašparovi a Oldřichovi již r. 1615. Miličínské panství s panským sídlem a pivovarem bylo nakonec prodáno r. 1630 císařskému důstojníku španělského původu, Martinu de Hoeff-Huertovi.
Po smrti Huertovy dědičky Marie Anny daroval král Ferdinand III. r. 1653 miličínské panství hraběti Františku Eusebiu Pöttingovi. Jeho dědic Jan Šebestián Petting je prodal r. 1681 pasovskému a solnohradskému kanovníkovi, hraběti Františku Ferdinandu Kuenburgovi. Za tohoto majitele nebo za jeho dědice Maxmiliána z téhož rodu bylo dřívější panské obydlí přestavěno v r. 1696 na jednopatrový barokní zámek. Po výstavbě rodinného sídla v Mladé Vožici v polovině 18. století pozbyl zámek v Miličně, zpustošený požáry v letech 1749 a 1834, význam, zčásti byl zbořen a zčásti přestavěn. Zbytkem zámku je patrová budova v čele hospodářského dvora bez výrazných slohových znaků na východním okraji města.