
Zámecká stavba postavená na přelomu 17. a 18. stol. podle návrhu D. Martinelliho - dokončen pouze sloupový sál se zaklenutými křížovými klenbami. Součástí muzejních budov jsou též dvě bašty (16. stol.), městské hradby se zámeckou bránou (13. stol.) a muzejní dostavba z let 1931 - 1947.
Muzeum, jehož zřizovatelem je MK ČR, dokumentuje poznání dějin společnosti a kultury na úsecích života a díla J.A. Komenského (jeho ohlasu na území České republiky i v kontextu mezinárodním) a vývoje společnosti a kultury regionu Uherskobrodska a města Uherského Brodu. Muzeum zpřístupňuje na ploše cca 2 500 m2 stálou expozici “J.A. Komenský lidstvu”, jejíž specifickou částí je audiovizuální program “Cesta světla”. V barokním Sloupovém sále muzea (z r. 1692) se konají kulturní a společenské akce.
K hlavním okruhům činnosti dnes patří sbírkotvorná činnost, vědeckovýzkumná práce, výstavní činnost, metodická činnost, přednášky a osvětová práce, vydávání časopisu Studia Comeniana et historica a organizování mezinárodních komeniologických kolokvií. K dispozici je také knihovna Pedagogických čtení. Muzeum je od r. 1998 hlavním pořadatelem celostátní přehlídky muzejních videofilmů Musaionfilm a spolupořádá festivaly masopustních tradic v obci Strání na Uherskobrodsku. Součástí práce je rovněž činnost ediční a práce s dětským návštěvníkem.
Muzeum zpřístupňuje expozici lidové architektury “Rolnický dům a hospodářství čp. 57 ve Vlčnově” a stálou expozici “Pamětní síň JUDr. Václava hraběte z Kounic” v Uh. Brodě. Historii a region přibližuje ve své dlouhodobé expozici “Starožitnosti Uherskobrodska” instalované v muzeu.
Hrad, rozšířený ve 13. a 14. století, zabíral asi plochu dnešního městského kina a části muzea. Hrad obklopovala pevná zeď, za níž bylo dosti prostranné nádvoří, byty pro čeleď a stáje. Zachovala se jen hlavní patrová budova s velkými okny a vysokou šindelovou střechou, postavená na mohutných kamenných základech uzavírajících klenutá sklepení. Na hradě sídlil královský hejtman, jímž byl v r. 1322 Hertlín a v r. 1354 Ježek ze Sušic. Z okrouhlé západní věže bylo vidět nejen na město, ale i do širého okolí. Na hradě přebýval již Přemysl Otakar II., hostem tu byl i jeho syn Václav II. Nějaký čas zde strávil i markrabě Karel, král Zikmund (v r. 1421) a Matyáš Korvín; v r. 1490 se na hradě ubytoval s rodinou a dvorem Vladislav II., když cestoval do Uher. Postavení královského města ztratil Uherský Brod za Matyáše Korvína, který jej zastavil nejprve svému nemanželskému synovi Janu Korvínovi a po něm sedmihradskému vévodovi Janu Zápolskému. V r. 1506 získal nakonec do vlastnictví hrad i město od krále Vladislava II. Jan z Kunovic. Nový držitel hrad opustil a v r. 1512 si vybudoval ve městě vedle dorami kánského kláštera nové sídlo — měšťanský jednopatrový dům s pozdně gotickými a renesančními prvky, s arkádami i vzácnými freskami. Opuštěný hrad pak chátral. Páni z Kunovic vlastnili panství až do r. 1611, kdy je od nich odkoupil Oldřich z Kounic. V r. 1645 zpustošili Švédové dosavadní hrad natolik, že Lev Vilém z Kounic dal zříceniny rozbořit a z takto získaného materiálu postavit stáje a pivovar. Z celého hradu zůstala pouze Bílá a Vítkovská bašta. Protože Kounicové sídlili na Slavkově, sloužil měšťanský dům postavený Janem z Kunovic patrimonijním úřadům. Na počátku 18. století postavili Kounicové v místech starého hradu podle projektu Domenika Martinelliho zámecký barokní trakt, zvaný Baráník, který se stal střediskem loveckých kratochvílí. Měšťanský dům ve městě byl zbarokizován a částečně upraven na byty úřednictva; dosavadní dispozice však zůstala neporušena. Zde zemřel v r. 1913 významný mecenáš a buditel hrabě dr. Václav Kounic, z jehož odkazu byly v Brně postaveny tzv. Kounicovy koleje. V 1. 1922 — 1924 koupilo Baráník s celým areálem hospodářských budov a měšťanský dům město..