
Přibližně ve středu obce, v její jižní části, napravo od místní komunikace jdoucí od Nového Dvora ve směru Zlatníky, se nacházel bývalý hospodářský dvůr cisteriáckého řádu. Snad již někdy v 17. stol. přestavbou hospodářské budovy vznikl nevelký,původně barokní zámek, který později prodělal řadu přestaveb.
V severním průčelí balkón v prvním patře. Mansardovou střechu ve střední části zdobí malá věžička..
Roku 1514 získali Stěbořice Bruntálští z Vrbna a roku 1589 je získali do dědičného vlastnictví. Od roku 1654 vlastní Stěbořice Neuhausenové. Právě hrabě Caesar Neuhaus zde s největší pravděpodobností nechal postavit menší barokní zámek. V roce 1729 se Stěbořice stali majetkem Pinů z Friedenthalu. Ti jednak na přelomu 18. a 19. stol. zámek upravili v empírovém slohu a jednak kolem zámku založili park. V parku nechali postavit oranžerii a rodinnou hrobku. Posledními majiteli byla podnikatelská rodina Janottů, která zámek vlastnila od roku 1860 až do roku 1945..