
Samostatný rozvrh hradu je zatemněn rozsáhlými přestavbami a především devastacemi v 19. století. Příkop oddělující hrad od města byl zasypán roku 1852, sklepy pak v roce 1874. Údajná věž v nádvoří byla zbořená roku 1805.
Hrad snad založili páni z Lipé v letech 1340–60, kdy drželi šumperské zboží. Poprvé se ale hrad připomíná až roku 1447, kdy byl majetkem Bernarda z Cimburka. Východní křídlo poslední průzkumy připisují Jiřímu Tunklovi – majiteli hradu v letech 1464–80 a západní křídlo zřejmě na přelomu 15. a 16. století přistavěl Petr ze Žerotína. Do roku 1569 proběhla za Žerotínů renesanční přestavba – v tomto roce přešel hrad do vlastnictví města. Po ničivém požáru v roce byl zámek 1669 obnoven, později sloužil hospodářským účelům. V letech 1840–80 proběhla další přestavba pro účely školy, která je zde dodnes.