
Budova zámku ve tvaru kruhové výseče stojí téměř ve středu města. Zámek vznikl přestavbou z pozdně gotického hradu a začátky přestavby se datují již od 2. poloviny 16. století. Jednalo se převážně o renesanční stavbu s arkádovým nádvořím. V 18. století zámek prošel ještě barokní přestavbou. Dominantu zámku tvoří 61 m vysoká, osmiboká věž s hodinami.
Při zámku je rozsáhlý park s objektem salla tereny a zbytky městských hradeb s baštami.
V r. 1621 bylo Janovi z Vrbna panství zkonfiskováno za účast ve stavovském odboji a poté prodáno Řádu německých rytířů. Zámek se stal osobním majetkem velmistra, který zde však většinou nesídlil a zastupoval ho místodržitel. Za třicetileté války zámek utrpěl při trojnásobném dobývání města Švédy. Nynější podobu zámek získal pozdně barokní přestavbou v letech 1766-1769, při které byly zachovány renesanční arkády na nádvoří i hodinová věž a řada dalších stavebních prvků původního zámku. Další dílčí úpravy v 19. a počátkem 20. století se dotkly pouze zámeckých interiérů a zámeckého parku. Po vzniku ČSR v r. 1918 byl zámek na základě zákona o konfiskaci habsburského majetku převzat do státní správy. Vleklý soudní spor mezi řádem a státem rozhodl až Mezinárodní soudní dvůr v Haagu ve prospěch řádu, který byl uznán za duchovní instituci. K definitivní konfiskaci řádového majetku došlo v r. 1938, kdy byl řád rozhodnutím říšských orgánů zrušen. Bruntál se stal sídlem nacistické správy, která převzala jeho statky. Od r. 1945 přešel zámek do vlastnictví státu a v r. 1960 byl zpřístupněn veřejnosti. Dnes expozice spravuje Muzeum v Bruntále, které zde má i své sídlo. Řád německých rytířů opakovaně marně vznáší restituční požadavky..