
Nepřístupná budova rezidence se nachází v těsném sousedství kostela Panny Marie Pomocnice na Chlumku, jižně od centra města Luže. V městě samotném stojí kromě poutního areálu za pozornost především zřícenina hradu Košumberk, dále například radnice ze 16. století či gotický kostelík svatého Bartoloměje. V okolí je možné navštívit hrad Rychmburk, hrad a zámek v Nových Hradech či skalní město Toulovcovy maštale.
Původní vchod do objektu v páté ose byl zazděný a nahrazený dvojicí oken, dodnes ho prozrazuje štítek a Christogram IHS nad místem původního portálu. Druhý podobný štítek, nesoucí znak Žďárských ze Žďáru, je umístěn nad vstupem do bývalé kaple sv. Jana Křtitele. Rámy okenních otvorů jsou barokní, s uchy a kapkami. Kratší průčelí jsou tříosá, nepravidelné rozmístění okenních otvorů v jižním průčelí prozrazuje umístění dvouramenného schodiště. V interiéru dochována původní štuková výzdoba. Objekt je součástí komplexu poutního areálu – poutní chrám, hospodářský dvůr, zahrada, panský zámeček z let 1683–1684..
Původní vzhled objektu byl bohužel poznamenán odbouráním druhého pavilonového patra roku 1823 a požárem v roce 1949. Jezuitský zámeček byl od roku 1964 zapsán v seznamu kulturních památek, od roku 2018 je pak národní kulturní památkou. Přesto se v současnosti nachází v havarijním stavu a čeká na svou obnovu a následné využití..