
Ves s názvem Rytířsko byla založena až na počátku 18. století na místě zaniklé vsi Rychýřka. Poprvé je ves doložena v roce 1721, kdy Jan Kryštof Říkovský postupoval panství Luka nad Jihlavou, jehož součásti Rytířsko bylo, Františku Antonínovi Gellhornovi. V roce 1736 Anna Magdaléna Gellhornová postoupila Rytířsko Maxmiliánovi Oldřichovi z Kounic a Dominik Kounic v roce 1768 Josefu Widmannovi. A zřejmě Kounicové zde při bývalém dvoře zbudovali lovecký zámek, který byl za Widmannů změněn na hájovnu. Widmannové vlastnili zámek až do roku 1945, kdy jim jako německým majitelům byl odebrán a zkonfiskován, čímž přešel do majetku státu. I nadále zde byla umístěna hájovna lesní správy. Po roce 2000 jej odkoupil soukromý majitel, zámek prošel rekonstrukcí a byl v něm zřízen hotel. Ten je tam dodnes.
Rekonstrukce se celkové hmoty zámku výrazně nedotkla, vnitřní prostory zámku byly ale změněny. Je to obdélníková jednopatrová budova s mansardovou střechou s vikýři. Střecha je opatřena věžičkou. Na severu jsou připojeny bývalé hospodářské budovy, opět zrekonstruované.