
Po smrti svého otce Josefa Iléšházyho v roce 1766 přebírá třetinu brumovského hradu jeho syn Jan. Ten ponechal sídlo správy panství na hradě, ale pro svůj pobyt si nechal v roce 1767 postavit v podhradí zámek. V roce 1826 za Štěpána Iléšházyho byla z hradu do zámku přeložena i správa panství. V roce 1835 koupil zámek řecký bankéř Jiří Šimon Sin, který na něm provedl klasicistickou úpravu. Byl vytvořen středový rizalit s trojúhelníkovým štítem a představěnou skleněnou verandou. Po dalších majitelích získává zámek v roce 1929 Edeltruda, která se později provdala za Ervína Rainer-Harbacha, s nímž na zámku pobývala až do roku 1945, kdy jim byl jako Němcům zámek zkonfiskován.
Po roce 1945 v zámku sídlily různé lesní podniky a sídlí tam i dodnes. V roce 1989 proběhla poměrně citlivě celková rekonstrukce, takže původní vzhled zámku je víceméně zachován, a to včetně rizalitu, okenních tympanonů, podstřešní a kordonové římsy. Chybí skleněná veranda, ale ta byla zrušena již na začátku 20. století.