
V první polovině 14. století založil Adam z Konice nebo jeho syn Ješek novou tvrz poprvé připomínanou roku 1351. S přestávkami sloužila tvrz jako sídlo vrchnosti (páni z Cimburka, páni ze Švabenic) až do konce 17. století. Během těchto let byla tvrz jistě často přestavována a upravována aŤ již goticky, renesančně nebo barokně. Poslední barokní přestavbu provedl stavitel L. Glöckel po roce 1705 pro příležitostné letní pobyty opatů premonstrátského kláštera Hradisko a jejich suity. Další úpravy provedla rodina Přízů, která zámek vlastnila v letech 1825-1945. Dnes slouží zámek potřebám města Konice jako umělecká škola, konceertní a obřadní síň atd.
V čtyřkřídlém zámku téměř čtvercového půdorysu se více či méně dochovaly zbytky všech stavebních fází. Gotická tvrz měla tvar lichoběžníka s palácem při jižní straně. Obvodová hradba dnes tvoří vnější zdi jižního a východního křídla, nádvorní zeď západního a pravděpodobně i severního křídla. Renesanční zdivo se dochovalo především v příčkách všech křídel, jejichž zbylé zdivo je převážně barokní. Čtverhranní nádvoří je obkopeno barokními arkádami, ty však mohly mít již renesančního předchůdce.