Nádvorní část budovy zbyle po zámku
© Dušan Dohňanský 07/2018
Lovecký zámek v katastru Protivanova vznikl někdy před rokem 1671 v návaznosti na tamní oboru, která byla založena pro chov zvěře někdy ve 2. polovině 16. století. Písemně je zámek doložen až v tzv. "soupisu komínů" boskovického panství z roku 1671 za Jana Bohuše Morkovského ze Zástřizl. V roce 1672 je v oboře doložena i kaple Sv. Huberta.
Dvůr u zámku vznikl ale až později a to v 1. polovině 18. století, kdy boskovické panství, jehož součásti byl zámek i dvůr, náleželo Valtru Xaverovi z Ditrichštejna a po jeho smrti jeho synům Karlovi a Leopoldovi Ditrichštejnům. Zámek se tehdy nazýval Hilšperk. Boskovickému velkostatku patřil dvůr se zámkem až do roku 1948, kdy přešel do majetku státu a byl využíván různými zemědělskými organizacemi. Na počátku 90. let 20. století byl restituován. V současné době se rekonstruuje.
Zámek byl postaven nad rybníkem jako samostatná budova bez dvora. Byla to jednopatrová budova krytá valbovou střechou. Východní průčelí obrácené k rybníku bylo zdobeno dřevěnými pavlačemi a jeho součásti byla i kaple Sv. Huberta.
Dodnes se ze zámku dochovala snad jenom jeho jižní část, severní část ustoupila hospodářským budovám. Rovněž z původní kaple zbylo jenom kněžiště - chór.
