
Žarošice se poprvé připomínají v roce 1322, kdy je koupila královna - vdova Eliška Rejčka, která je postoupila cisterciánskému klášteru v Brně. V jeho držení byla obec až do roku1782, kdy její správu přebírá Moravský náboženský fond. A ten přímo ve středu obce zakládá dvůr na jehož jižní straně se nachází správní budova. Ta je známá především přenocováním císaře Františka II. po bitvě u Slavkova dne 2.12.1805. Jako zámek se ale tato budova začíná nazývat až kolem roku 1824. To byla majetkem Arnoštky Schafgotschové. Později, za Josefa z Lichtenštejna ztrácí již svoji rezidenční funkci a opět funguje jako správní budova a také archív.
V roce 1947 přechází do majetku státu a střídají se v něm různé, převážně zemědělské organozace.V r. 1997 byl bývalý zámek restituován. V současné době je dvůr a jeho budovy téměř opraven. Bývalého zámku se to bohužel ještě ale netýká.