
Královské město dal roku 1227 založit král Přemysl Otakar I. a přikázal jej opevnit hradbami. Hradby jsou připomínány deset let po založení města – tedy roku 1237. Měly tehdy dva pásy zdi z lomového kamene – vnější a vnitřní, příkop, dvě hlavní brány a několik branek. Na severozápadě se zachovala Horní brána vedoucí na barbakán a tzv. Malá branka, určená pro pěší a malé povozy. Východní Horní či Velká brána byla zbourána po požáru v roce 1832, dochovala se pouze část jejího barbakánu. V 15. a 16. století byly hradby doplněny o bašty. Z pěti bašt se zachovaly tři, příkopy a valy zanikly úplně. U Malé branky byla zazděna pozdně gotická žulová poloplastika ženské postavy, zvaná Kamenná či Jemnická panna. Podle pověsti se jedná o dceru Přemysla Otakara I. a je podle legendy patronkou a ochránkyní města.
Hradební zdi se nejlépe zachovaly na jižní straně města, kde prudký svah do údolí Želetavky v pozdějších obdobích nedovoloval rozsáhlejší stavební činnost. Zde při křížení ulic V Zahrádkách a U Templu stojí jediná dochovaná bašta. V ostatních částech města byly hradby zbořeny, nebo je pohltily mladší domy.