
Barokní rezidence je v současné podobě podlouhlou obdélnou patrovou budovou, krytou valbovou střechou (nahradila starší mansardu) s plechovou krytinou. Hlavní severní průčelí je osmiosé, členěné pilastry s vysokým řádem, z nichž některé jsou zdvojené. Původní vchod do objektu v páté ose byl zazděný a nahrazený dvojicí oken, dodnes ho prozrazuje štítek a Christogram IHS nad místem původního portálu. Druhý podobný štítek, nesoucí znak Žďárských ze Žďáru, je umístěn nad vstupem do bývalé kaple sv. Jana Křtitele. Rámy okenních otvorů jsou barokní, s uchy a kapkami. Kratší průčelí jsou tříosá, nepravidelné rozmístění okenních otvorů v jižním průčelí prozrazuje umístění dvouramenného schodiště. V interiéru dochována původní štuková výzdoba. Objekt je součástí komplexu poutního areálu – poutní chrám, hospodářský dvůr, zahrada, panský zámeček z let 1683–1684.
Bývalá jezuitská rezidence byla vystavěna v letech 1678–1682 na popud majitelky košumberského panství Marie Maxmiliány Evy Terezie Hýzrlové z Chodů, rozené hraběnky Žďárské ze Žďáru. Plány pro její výstavbu dodal pražský architekt Andrea de Quadri. Původní vzhled objektu byl bohužel poznamenán odbouráním druhého pavilonového patra roku 1823 a požárem v roce 1949. Jezuitský zámeček byl od roku 1964 zapsán v seznamu kulturních památek, od roku 2018 je pak národní kulturní památkou. Přesto se v současnosti nachází v havarijním stavu a čeká na svou obnovu a následné využití.