Nedaleko zámku nejsou zbytky původní tvrze, jedná se o bývalé pivovarské lednice. V areálu tvrze nezůstal hospodářský dvůr s budovou pivovaru a sýpka s letopočtem 1679 na štítě. Jedná se o největší původní barokní pivovar v Česku se znakem jezuitů a letopočtem 1679 na štítě.
V roce 1626 se majitelem Milíčevsi s tvrzí stal Albrecht z Valdštejna a v roce 1627 ji věnoval jičínským jezuitům. V letech 1676-1679 za rektora Jiřího Weisse jezuité postavili na zcela novém místě podle návrhů J.B. Matheye v Milíčevsi nové letní sídlo a ohromný pivovar. Pouze jeden dřevěný venkovský domek musel ustoupit stavbě pivovaru. Při stavbě byl použit kámen ze zdí hradu Veliš, který Habsburkové odsoudili ke zboření. Když došlo ke zrušení Tovaryšstva Ježíšova roku 1773 přešlo Milíčevské panství pod správu Videňského studijního fondu.využívána v roce 1835 koupije již značně zmenšené panství Eugen Vratislav Netolický a koncem 1. pol. 19. stol. (r. 1841) je prodává hraběti Michalu Karlu Althenovi, který budovu letní residence nechává klasicistně přestavět. Ve 2. polovině 19. stol. byl přistavěn partikus, stavba byla zvýšena o jedno patro a získala tak dnešní podobu. Po roce 1947 byl zámek znárodněn a v druhé polovině 50. let 20. stol. bylo rozhodnuto, že bude upraven na domov důchodců, který je zde dodnes. Daleko vice podrobností o úchvatném souboru staveb jičínských jezuitů a Johana Baptisty Matheye v Milíčevsi se dozvíte na miliceves.cz
