
V roce 1617 zdědil Bedřich Sedlnický po svém zemřelém otci Jaroslavu Sedlnickém léna Hrozová a Moravské Pelhřimovy a pravděpodobně v této době tam vybudoval skromné sídlo v podobě tvrze, jenž se poprvé připomíná v roce 1630. V roce 1766 byla obě léna postoupena Janu Josefovi Antonínovi Pinovi z Friedenthalu, příslušníku slezského rytířského rodu Pinů, původem z italské Lombardie. Jakub Felix Pino někdy v letech 1779- 1790 dřevěnou tvrz přeměnil a částečně přestavěl na nový zděný barokní zámek. Ten ale nebyl vůbec udržován a v roce 1877 byl pro špatný stav zbourán.
Zbořený objekt byl na přelomu 70. a 80. let 19. století nahrazen zámkem novým, který vznikl přestavbou hospodářské budovy dvora nacházející se severně od původního zámku. Poslední držitelé Hrozové bratři Viktor, Pavel a Heřman Pinové se časem přesídlili do Vídně a zámek začal sloužit jako sídlo správy velkostatku. V roce 1908 část zadluženého statku i se zámkem koupil Josef Schöfer a jeho rodina jej vlastnila až do roku 1945, kdy byl konfiskován. Sloužil pak Státnímu statku Osoblaha, později jako rekreační objekt.
Zámek je architektonicky nevýrazná přízemní obdélníková budova se sedlovou střechou a s podstřešními místnostmi na severní a jižní straně. Na východním průčelí je zachované kamenné ostění oken stejně jako letopočet 1922 zaznamenávající zřejmě nějakou úpravu zámku.