
Kaštieľ sa pôvodne nachádzal v obci Kráľová, ktorá bola neskôr zlúčená s obcou Radvaň. Dnes sú obe mestskými časťami Banskej Bystrice. Kaštieľ zostal začlenený do mestskej časti Radvaň a nachádza sa na Radvanskej ulici na sídlisku kúsok od rieky Hron.
Výrazné rizality sa nachádzajú na severnej a južnej strane kaštieľa. Okolie kaštieľa utrpelo výstavbou sídliska a z pôvodného rozsiahleho parku zostala len minimálna časť okolo kaštieľa..
V polovici 17. storočia majetky rodiny Nevéry skupovala šľachtická rodina Radvanských a do ich majetku prešiel aj kaštieľ. Koncom 18. storočia bol kaštieľ v majetku rodiny Gerhadt a bol prebudovaný Tomášom Gerhadtom. Posmrti Tomáša si majetky rozdelili jeho sestry Terézia Tihányiová a Kristína Máriássy. Kým Kristína získala majetky na Spiši a Zemplíne, Terézia získala do majetku Kráľovú a podiel vo Zvolenskej a Hontianskej stolici. Spolu s Kráľovou získala do vlastníctva aj kaštieľ. Terézia prišla do svojho nového sídla v roku 1828. Zanedbaný kaštieľ dala v roku 1830 prebudovať v klasicistickom slohu. O poslednú prestavbu sa po smrti matky postaral Ignác Tihányi. Ten nechal kaštieľ prebudovať v neskororenesančnom slohu do dnešnej podoby. Počas 2. svetovej vojny bol kaštieľ ťažko poškodený a v roku 1947 vyhorel. Zdevastovaný kaštieľ bol pôvodne určený na zbúranie a mal ho čakať podobný osud ako neďaleký kaštieľ Soví hrad, ktorý bol zbúraný v 30-tych rokoch 20. storočia. Park okolo kaštieľa bol zničený a na jeho miesto vyrástlo sídlisko. Počas výstavby sídliska zostal kaštieľ pod úrovňou sídliska v jame a zo sutín zbúraného kaštieľa sa mala táto jama zasypať a urovnať. Plán sa nakoniec neuskutočnil a kaštieľ prešiel pod správu Krajského vlastivedného múzea v Banskej Bystrici. V rokoch 1974 až 1988 prebehla rozsiahla rekonštrukcia a kaštieľ bol v roku 1989 otvorený pre verejnosť. Dnes je pod správou Stredoslovenského múzea a sídli v ňom Vlastivedné múzeum..