Zámek byl postaven olomouckým biskupem hrabětem Ferdinandem Juliusem Troyerem z Troyersteina. Stavba byla dokončena roku 1755. Na přelomu 18. a 19. stol. byl zámek i celé okolí arcibiskupy upraven a dnes slouží jako byty.
Obec Rychtářov byla za druhé světové války vysídlena za účelem zřízení vojenské střelnice, dodnes si však dochovala tradiční zástavbu z 19.století. Známá je také jako rodiště cestovatele Aloise Musila (1868-1944). Malý lovecký zámeček se nachází zhruba ve středu obce. Dnes je státem chráněnou památkou, jsou v něm byty a žijí zde v současnosti tři rodiny.
Roman Řezáč, 11.12. 2004
Lovecký barokní zámek Trojerov (Troyerstein) nedaleko Rychtářova na vyškovském panství olomouckého biskupství vystavěl kolem poloviny 18. století olomoucký biskup hrabě Ferdinand Julius Troyer z Troyersteina (1745 - 1758), po němž byl také pojmenován. Koncem 18. a počátkem 19. století nechali olomoučtí arcibiskupové upravit vstupní bránu i celý objekt. Dnes patří zámek MNV a slouží hospodářským účelům.
Hrady, zámky a tvrze v Čechách na Moravě a ve Slezsku - Jižní Morava, 23.4. 2004