
V roce 1227 nechal Přemysl I. Jemnici opevnit proti Rakousům. V této době byl také vystavěn raně gotický hrad, s okrouhlou věží. Ten byl zapojen do v té době rostoucí městské fortifikace. Nicméně samotný hrad byl prvně doložen až roku 1295. V majetku králů vydržel až do roku 1530, kdy jej získali páni z Lomnice. Poté byl za jejich správy koncem 16. století přestavěn v renesanční zámek. Další přestavba v 2. polovině 18. století změnila tvář objektu úplně, když byl oděn do pozdně barokního slohu. Následovaly dokonce ještě drobné pseudobarokní úpravy.
Hradební zeď (místy zdvojená) byla velice pevná. Náležely k ní ještě příkop, val, brány, barbakán a samozřejmě bašty. Hlavní obrannou úlohu nesl tehdy vystavěný hrad na jihovýchodní straně města. Velká brána (dříve Horní) byla přepevná – vnější část byla 4 metry široká s malým průchodem pro chodce. Za ní byl hluboký hradební příkop a ve zdech nad ním množství střílen. Vnitřní část byla přímo v hradbách. Při požáru města 1832 se stalo neštěstí – při zmatku u východu byla brána ucpána povozy a byl tak zablokován útěk od ohně. Poté byla brána odstraněna. Hradební zeď je nejzachovalejší na severu, kolem jsou soukromé domky (na Horních valech). Zachoval se též barbakán na severozápadě – předsunuté opevnění sloužící k ochraně bojovníků útočících, nebo také ustupujících zpět do pevnosti.
Do doby krále Jan Lucemburského (1310–1346) se klade vznik jemnické lidové slavnosti „barchanu“. Pověst vypráví, že v r. 1312 táhl král Jan do boje proti Matúši Čákovi, který plenil jihovýchodní Moravu, a zanechal v Jemnici královnu Elišku, která očekávala dítě. Král jí podal zprávu o svém vítězství čtyřmi běžci. Na paměť této události se koná od poloviny 14. století až dodnes poslední zářijovou neděli slavnost spojená s během mládeže od hranic města směrem k Budkovu a končící v Jemnici. V r. 1331 měli Jemnici v zástavě Lichtenburkové, jejichž kořistnictví se nezastavilo ani před tímto královským městem. Náležela jim – patrně s některými přestávkami – až do konce 15. století, kdy byla postoupena jeho zástava Václavu z Ludanic. Král Ferdinand I. postoupil v r. 1530 Jemnici do vlastnictví Jindřichu Meziříčskému z Lomnice, za něhož nastaly dlouholeté spory mezi měšťany, přetěžovanými robotami, a vrchností. Revoltující měšťané dokonce oblehli hrad, ale neuspěli a byli potrestáni (1556). Spory skončily teprve v r. 1588, když na zákrok císaře Rudolfa II. Kateřina Meziříčská z Lomnice prodala v r. 1609 svému manželovi Zikmundu z Tiefenbachu hrad a město Jemnici s předměstím Podolím a vesnicemi Třebelovicemi, Menharticemi, Pálovicemi, Ostojkovicemi a Báňovicemi. V té době byl dosavadní hrad přebudován na zámek. Vznikla dvoupatrová renesanční budova, tvořená čtyřmi křídly kolem pravoúhlého dvora. Ve hmotě západního křídla zůstalo zdivo raně gotického hradu z 13. století, který byl součástí městského opevnění. Zachovala se i válcová věž, která s palácem tvořila hradní jádro. V r. 1628 prodali poručníci dětí Jindřicha Zahrádeckého ze Zahrádek zámek spolu s panstvím za 70 000 zl. moravských Fridrichu Jankovskému z Vlašimi, v jehož rodině zůstal statek až do r. 1734. Tehdy zdědil Jemnici hrabě Maxmilián Daun, jenž dal jemnický zámek přestavět a pečoval i o park a zahradu. Hlavní barokní průčelí čtyř dvoupatrových křídel je obráceno na východ. Jeho vrchol uzavírá trojúhelníkový štít, který spolu s vikýři a komíny člení střechu. V r. 1815 koupil zámek s panstvím známý diplomat hrabě Josef Filip Stadion, jenž upsal v r. 1818 50 000 zl. na založení Národního muzea v Praze. Za něho pobýval několikrát na zámku známý rakouský romantický básník a dramatik R. Grillparzer. V 1. 1842 – 1945 vlastnili zámek Pallaviciniové. V 80. letech minulého století byly upravovány zámecké interiéry a fasády v pseudobarokním stylu. Při zámku stávala tzv. Velká brána, která střežila vstup do města. 2 km severně od města je mauzoleum hrobky rodu Pallaviciniů s uměleckou plastikou J. Weiricha.