
Kde stála původní tvrz vladyků z Dobromilic nelze jednoznačně určit. Jednou z možností je lokalita s náznakem okrouhlých valů a příkopů zachycená katastrální mapou z roku 1833 na jihovýchodním okraji obce. Mohla však stát i v místě dnešního zámku. Jeho základem je dnešní vstupní a na něj navazující severní křídlo s nakoso postavenou nárožní věžičkou.
Scherfenberkové ve 2. polovině 17. století postavili snad na starších základech západní křídlo a Václav Kořenský areál uzavřel jižním zahradním křídlem s výraznou centrální sálovou stavbou se sala terrenou v přízemí.
Východně od zámku stojí barokní sýpka, v jejíž zdi je zřejmě druhotně osazena erbovní deska Anežky Bítovské ze Slavíkovic.
Roku 1418 je vyženil Licek z Lulče, za jehož potomků tvrz snad během česko-uherských válek zanikla. Zmínka o ní je až roku 1563, kdy pustou ves s pustou tvrzí získal Matyáš Žalkovský z Žalkovic. Žalkovští se chtěli v Dobromilicích usadit, proto si zde ještě před koncem století postavili jednoduchou renesanční tvrz. Roku 1600 prodal Jan Žalkovský Dobromilice své manželce Aneřce Bítovské ze Slavíkovic, po její smrti je však zdědil zpět. V letech 1614-23 patřily Dobromilice Jiřímu Flottovi z Bockštejna, tomu byly za účast ve stavovském povstání zabaveny a jejich osudy za třicetileté války jsou nejasné. Za Scherfenberků byla tvrz ve druhé polovině 17. století přestavěna a do konečné podoby ji rozšířil před polovinou 18. století za Kořenských z Terešova. Od roku 1870 vlastnil zámek olomoucký arcibiskup kardinál z Fürstenberka, po něm pak v letech 1888-1945 podpůrný spolek kněží olomoucké arcidiecéze. Poté byl zámek převzat obcí a sloužil jejím potřebám jako byty, knihovna atd. Dlouhou dobu byla budova opuštěná a bez využití. Dnes jej jako „Dům na půl cesty“ využívá Sdružení pěstounských rodin, společnost zaměřená na adaptaci mládeže odcházejících z dětských domovů, výchovných a jiných ústavů.