
Nevelké městečko na soutoku Labe a Chrudimky bylo zřejmě ohrazeno až v průběhu 15. století. Z této doby patrně pocházejí zbytky hradební zdi o výšce cca 6,5 m, asi 1,3 m silné, s ochozem. Nacházejí se zejména na jižních hranicích parcel domů na jižní straně Pernštejnského náměstí.
Poté, co město získali Pernštejnové, proběhla na přelomu 15. a 16. století (snad do roku 1511) zásadní změna opevnění: po celém obvodu byly před příkop staré hradby nasypány zemní valy s nárožními rondely. Na koruně valů stála hradba s podsebitím a několika baštami, vnější linii tvořila parkánová hradba a až 20 m široký příkop, postupně napájený soustavou vodních děl z Chrudimky. Vstup do města zajišťovaly Pražská (dnes Zelená) a Bílá brána (na severovýchodě, u mostu přes Chrudimku).
Po požáru 1538 byly přestavěny obě hlavní branské věže. Roku 1541 zesílila obranu bateriová věž u kostela Zvěstování Panny Marie, lehké opevnění obklopilo i obě předměstí.
V době třicetileté války se opevnění dále zkvalitňovalo, což umožnilo úspěšnou obranu proti Švédům v letech 1639, 1644 a 1645. Naopak po postavení barokních pevností Hradec Králové a Josefov Pardubice ztratily vojenský význam. Od roku 1776 byly likvidovány hlavní valy na jižní a západní straně města (nahradila je jezdecká kasárna), v průběhu 19. století byla zbořena Bílá a bateriová věž, četné zásahy se dotkly i původní zděné hradby. Naštěstí se zachovala Zelená brána, která prošla několika opravami (1886, 1912) a doplněním předbraní (viz heslo Zelená brána).