
Město Bystré leží 11 km jihovýchodně od Poličky a 16 km jihozápadně od Svitav. Zámek najdeme ve východní části města nad Panským rybníkem, nedaleko od silnice vedoucí z Bystrého do Svojanova. V zámku je umístěn Ústav sociální péče a není veřejnosti přístupný. Park obklopující zámek je veřejnosti přístupný.
Město Bystré a okolí si vybral režisér Vojtěch Jasný v roce 1968 pro natáčení filmu „Všichni dobří rodáci“ a v roce 1996 filmu „Návrat ztraceného ráje“.
V letech 1973–1974 byl obnoven anglický park a zpřístupněn veřejnosti. Po požárech v roce 1978 byla provedena rekonstrukce zámku a objekt byl z vnějšku uveden do původní renesanční podoby. Adaptace vnitřních prostorů byla provedena tak, aby objekt sloužil potřebám Ústavu sociální péče..
Obě tyto tvrze však stály nedaleko od místa, kde nyní stojí zámek. V letech 1586–1590 nechal Jan Bezdružický z Kolovrat vybudovat renesanční zámek, jehož základní podoba zůstala zachována dodnes. Roku 1645 a 1651 byl zámek vydrancován švédskými vojsky. V letech 1654–1655 nechal tehdejší majitel panství Maxmilián Valentin z Martinic zámek podstatně rozšířit. Po roce 1707 došlo k barokizaci zámku. To se však týkalo zejména interiérů a zámecké kaple. V roce 1710 získal bysterské panství hrabě z Hohen-Embsu výměnou za panství Vaduz od Lichtensteinů. Při přestavbě zámku v roce 1833 byla snesena věž, která do té doby stávala v průčelí. V letech 1850–1852 byl při zámku zřízen nový park se vzácnými dřevinami. Také došlo k přestavbě interiérů, v nichž nové malby provedl Erhard Schwöber z Mnichova. Po roce 1868 přešel zámek na rakouského císaře a ztratil význam. Od roku 1918 zde sídlilo ředitelství velkostatku patřícího státu. Po roce 1945 sloužil zámek jako sklad a od roku 1953 byl sídlem různých internátních škol. Od roku 1975 byl v objektu zřízen Ústav sociální péče pro mentálně postiženou mládež. V roce 1978 došlo ke dvěma požárům hlavní budovy. Po náročné opravě a přestavbě byly v roce 1990 zprovozněny všechny prostory zámku. Od té doby zámek opět slouží jako Ústav sociální péče..