
Bývalý salmovský letohrádek (č. p. 1) stojí jižně od poutního kostela. Je to barokní jednopatrová obdélníková budova. Hlavní vstupní východní devítiosé průčelí je zvýrazněno mělkým tříosým středovým rizalitem. Stejně tak i západní průčelí do dvora. Budova je kryta mansardovou střechou.
Následovali další majitelé, mj. i Pernštejnové a od roku 1589 rod z Drnovic. Až v polovině 17. století, kdy ves získal Jiří z Rogendorfu, byl ve Sloupu vybudován barokní lovecký zámek. Po smrti jeho syna Karla Ludvíka z Rogendorfu v roce 1739 panství převzala jeho žena Karolína. V roce 1763 dědicové Karolíny z Rogendorfu prodali panství Antonínu Salm-Reifferscheidt. Ten chtěl mít ve Sloupu své letní sídlo a protože starší lovecký zámek již sloužil jako fara, nechal si v letech 1763 až 1767 vystavět nový zámeček. Ten vznikl přestavbou panského špitálu. Kolem roku 1900 zde bylo již jen sídlo polesí a byla zde umístěna četnická stanice. Majetkem Salmů byl zámek až do roku 1945, kdy byl zkonfiskován a stal se majetkem obce. V letech 1950 až 1951 byl upraven pro potřeby národního výboru. Jako sídlo Úřadu městyse Sloup složí dodnes..