
Zámek (č. p. 5), dnes fara, stojí v centru obce východně od poutního kostela na levém břehu místního potoka. Je to jednopatrová obdélníková barokní budova s vysokou valbovou střechou. Vstupní průčelí je obráceno k západu, fasáda je členěna kordonovou a podstřešní římsou a jednoduchými a dvojitými pilastry. Na východě a severu se k budově připojují bývalé hospodářské objekty.
Následovali další majitelé, mj. i Pernštejnové, a od roku 1589 rod z Drnovic. Až v polovině 17. století, kdy ves získal Jiří z Rogendorfu, byl ve Sloupu vybudován barokní lovecký zámek. Po smrti jeho syna Karla Ludvíka z Rogendorfu v roce 1739 panství převzala jeho žena Karolína. Ta se do zámku v roce 1756 přestěhovala natrvalo a žila zde až do své smrti v roce 1759. Od roku 1755 část zámku sloužila jako byt faráře. Po smrti Karolíny byl zámek změněn na faru a tak je využíván dodnes..