
Bývalý městys Zahrádka ležel v údolí řeky Želivky. Ves byla založena někdy na přelomu 12. a 13. stol. a od r. 1327 byla trhovým městečkem. V letech 1562-1854 dokonce nesla název Trhová Zahrádka. Po r. 1970, když bylo rozhodnuto o vybudování přehradní nádrže Švihov, došlo k její likvidaci. Zachován byl pouze románsko-gotický kostel sv. Víta s přilehlým hřbitovem v nejvyšší poloze nad pravým břehem. Ke kostelu byla přenesena z náměstí barokní socha Bolestné Panny Marie z r. 1738, dílo sochaře Jakuba Teplého, a kamenná kašna z r. 1886. Pomník padlým v 1. světové válce z r. 1933 byl přenesen na hřbitov. Interiér kostela je zpřístupňován příležitostně několikrát ročně, například v polovině června v rámci svatovítské pouti. Hřbitov leží jižně od kostela, je sice přístupný, ale platí tu zákaz nového pohřbívání. V sousedství hřbitova se nachází několik objektů v majetku Povodí Vltavy s. p.
Vodní nádrž Švihov je rezervoárem pitné vody, její břehy jsou proto v ochranném pásmu a veřejnosti nepřístupné. Přístup ke kostelu a na hřbitov je však umožněn po jediné zpevněné komunikaci od silnice II/130 (v úseku Ledeč nad Sázavou - dálnice D1 u Koberovic), kde se nachází autobusová zastávka Horní Paseka, Zahrádka rozc. Kostel, který se nachází přímo na břehu nádrže, je od zastávky vzdálen asi 0,5 km. Přístupová komunikace je pro motorová vozidla uzavřena. Turisticky značené stezky stejně jako železnice se této oblasti vyhýbají.
Je chráněn jako kulturní památka ČR v péči Národního památkového ústavu. Nezatopené území Zahrádky bylo přičleněno ke katastru obce Horní Paseka. V r. 1219 daroval král Přemysl Otakar I. Zahrádku Vyšehradské kapitule a ve 14. století byl zdejší kostel farním. Patrně kolem poloviny 13. století vznikla na severní straně náměstí současná stavba kostela, která se přes různé přestavby zachovala. Někdy v 18. století byl barokně upraven, byla proražena nová okna, vznikl nový plášť s barokními lizénami, průčelím a štítem a věž dostala barokní zvonovou střechu. Kostel byl opravován r. 1852 a v letech 1976-1979 proběhl záchranný průzkum, při němž byly objeveny rozsáhlé zbytky fresek z doby kolem r. 1300. Od r. 2000 probíhají práce na záchranu a restaurování stavby. V r. 2017 byla 25. února v bývalé sakristii v podvěží na boku presbytáře umístěna bronzová socha faráře Josefa Toufara, připomínající jeho mučednickou smrt. Josef Toufar působil v Zahrádce v letech 1940-1948 před svým odchodem do Číhošti. Autorem sochy je Olbram Zoubek. Kostel sv. Víta je jednolodní stavba s obdélnou lodí a přibližně čtvercovým odsazeným presbytářem, ke kterému je připojena věž zhruba čtvercového půdorysu. Exteriér lodi a presbytáře má barokní architektonické členění, věž má na severních nárožích a v místě napojení na severovýchodní nároží presbytáře hranolové opěrné pilíře. Je opatřena barokní zvonovitou střechou, střecha je sedlová se západním střešním štítem a valbovým přechodem do sedlové střechy presbytáře. Na jižní straně lodi je umístěn žulový pozdně románský ústupkový portál s tympanonem. V ostění i záklenku probíhají tři ústupky s výraznými oblouky na hranách. V patě záklenku probíhá výrazná jednoduše profilovaná římsa. V mělkém reliéfu tympanonu je v centru umístěn kříž, doplněný dvěma slunci. Plocha tympanonu je lemována mělce vyznačeným obloučkovým vlysem, spodní hrana řadou drobných hvězdic. Západní portál pochází z barokní výstavby, stejně jako půlkruhem zaklenutá okna lodi i presbytáře. Západní střešní štít je tabulový s projmutými postranními křídly a trojúhelným tympanonem ve vrcholu. Korunní římsa lodi i presbytáře je barokní, s omítkovým profilem. Obdélná loď je plochostropá, s podklenutou kruchtou a zvenčí přístupným točitým schodištěm u západní stěny. Triumfální oblouk je půlkruhově zaklenutý. Presbytář je zaklenut barokně. V severní stěně je umístěn gotický sanktuář s kovanou mříží. V západní části severní stěny presbytáře je umístěn gotický portálek vstupu do sakristie v přízemí věže. Na stěnách presbytáře i lodi byly při průzkumech odhaleny rozsáhlé zbytky raně gotických fresek světců, v dolním pásu byla podle prof. Toroně snad galerie Přemyslovců. Křížová žebrová klenba sakristie má ve vrcholu dutý svorník. Dlažba sakristie je gotického původu. V r. 1944 byla provedena rekonstrukce oken. V kostele byly před 2. světovou válkou dva zvony, které byly r. 1942 nacisty zrekvírovány. Po válce pak farář Josef Toufar zařídil odlití jednoho nového zvonu v Brně.