Budova, která je v materiálech Památkového ústavu označována jako zámek, vznikla někdy po roce 1771, kdy František Tesař obec Milonice koupil od majitele černohorského panství Jindřicha Josefa Aueršperka. Po koupi dalších objketů zde založil velkostatek, jehož části zámek byl. Po roce 2000 byl statek včetně zámku zbořen.
Milonický zámek nemá nic společného s tvrzí, která byla v obci založena někdy v polovině 14. století. Počátky zámku sahají do roku 1771, kdy František Tesař koupil od majitele černohorského panství Jindřicha Josefa Auersperka, k němuž většina Milonic náležela, jeden lán osvobozený od robot. V roce 1773 František Tesař koupil další budovy, mmj. i místní hostinec, až vytvořil velkostatek. Jednu budovu si přestavěl na své obydlí a ta byla označována jako zámek. Budova měla přízemní vstupní průčelí obrácené k severu, na ni směrem k západu navazovala jednopatrová obytná část. Další budovy měly již hospodářský charakter. V roce 1945 byl poslednímu z Tesařů, taky Františkovi, majetek zkonfiskován, poněvadž si vzal za manželku Němku. V objektu bývalého statku se střídaly různé organizace včetně MNV, zdravotního střediska a JZD. Budovy ovšem chátraly a po roce 2000 byly všechny včetně zámku zbořeny. Na jeho místě stojí dnes domy čp. 58 a 60. Místo hospodářských budov stojí v místě bytovka čp. 47.
D. Dohňanský, zdroj: F.Musil - Neznámé zámky Moravy a Slezska, 19.5. 2020