Tvrz postavená r. 1512 Janem z Kunovic poté, co získal Uherský Brod. Jako sídlo panstva sloužila do r. 1611, kdy Brod koupili Kounicové. Ti zde nesídlili a dům sloužil jen správním účelům. Později byl barokně přestavěn a upraven na byty. R. 1922 jej po vymření Kouniců koupilo město.
Když roku 1506 získal Uherský Brod Jan z Kunovic, opustil zchátralý hrad a nedaleko něj si roku 1512 vybudoval pohodlný jednopatrový dům s nádvorními arkádami. V jeho stavbě se mísí prvky již odcházející gotiky stejně jako nastupující renesance. Jako sídla panstva sloužil až do roku 1611, kdy Uherský Brod koupili Kounicové. Ti měli vlastních sídel dost a Panský dům sloužil již jen ke správním účelům. I když později Kounicové věnovali Brodu více pozornosti, zejména zdejším loveckým revírům, pro své občasné pobyty si nechali postavit nový zámek zvaný později Baráník. Panský dům byl zbarokizován a upraven na byty. Po vymření Kouniců jej spolu se zámkem roku 1922 koupilo město, jemuž dnes slouží jako kulturní centrum.
5.4. 2004