
Dům Paní je jednopatrová renesanční stavba. Má dochovaný mázhaus s renesančním portálkem. Zachované je původní sklepení. V 19. stol. býval portálek na přední straně domu a vcházelo se do něj po malém schodišti. Dnešní fasáda a okna moc historickou stavbu nepřipomínají.
Historie Paního domu sahá již do r. 1475, kdy jej nechal postavit Ctibor Tovačovský z Cimburka. Měl sloužit paním tovačovským, čili zámeckým paním. V zakládací listině se doslovně uvádí: "Paní domu takto vymiňuji, že ten dům svobodný všem paním tovačovským budoucně i se zahradou býti má. A toho každá paní tovačovská může požívati, by pak ovdovělá, svobodně až do své smrti i ke svému požitku obrátiti, jakž se jí líbí. A nemají měšťané s tím domem nic činiti, dávkami, robotami, poplatky, aniž má do něho šerha jíti, ani ptán býti, než všeho má svoboden býti..." Paní dům byl tedy vdovským sídlem tovačovských šlechtičen, domem svobodným, požívajícím zvláštní ochrany. Manželka Ctibora paní Eliška, však domu nevyužila – zemřela dřív než on.