
Stolpen stojí na planině východně od pravého břehu Labe, přibližně na polovině cesty mezi Drážďany (Dresden) a pohraničním městem Sebnitz. Příjezd autem z ČR možný přes hraniční přechod Dolní Poustevna - Sebnitz nebo Hřensko - Schmilka (přes Bad Schandau). Od dálnice A17 (navazuje na českou D8) přes Pirnu. Železniční zastávka Stolpen na trati Pirna - Neustadt - Sebnitz - Bad Schandau je vzdálena od hradu asi 750 m jižně, po cestě od ní se nabízí nejlepší pohled na hrad. V Pirně a Bad Schandau přestupy na železniční příměstskou linku S1. Přes Stolpen projíždí i autobusová linka Dresden - Sebnitz (na všechna spojení hromadnou dopravou platí jízdenka Regionet Elbe - Labe).
Hrad stojí na čedičové kupě na jižním okraji stejnojmenného městečka. Jeho nejvýraznějším znakem jsou tři vysoké věže, které se navzájem zcela liší svým vzhledem: Jánská (Coselovská) věž je válcová se schodišťovým přístavkem, Kolmá věž má obdélný půdorys a sedlovou střechu s renesančními štíty, Sedmiboká věž nepravidelný půdorys a vnější vzhled silně poznamenaný výbuchem prachu roku 1813. Z budov horního hradu (Hochschloss) se zachovaly jen sklepy a části přízemí s řadou gotických a renesančních stavebních článků. Lépe jsou dochovány budovy předhradí, zejména barokní brána, špýchar a nízká věž výběrčího daní.
První opevnění na čedičové skále nad plochou krajinou nad pravým labským břehem vzniklo kolem roku 1100. Z roku 1121 pochází první nejistá zmínka v Kronice české. Kolem roku 1218 převzal území od slovanského majitele Moyka ze Stolpen míšeňský biskup Bruno II. a začal stavět zděný hrad. Roku 1241 území definitivně připadlo biskupství (do té doby spory s českým králem). Hrad se stal sídlem biskupské správy. Roku 1429 jej neúspěšně dobývali husité. V letech 1451–1537 byl důkladně přestavěn do podoby raně novověké pevnosti. Dva roky po dokončení stavby došlo k sekularisaci majetku diecese po zavedení luterství jako státního náboženství v Sasku, hrad se stal majetkem státu. V letech 1607–32 vyhloubili krušnohorští horníci v čedičové skále 84 m hlubokou studni. Roku 1632 hrad dobyli a částečně vypálili císařští Chorvati. Od roku 1634 zde sídlila stálá saská posádka. V letech 1716–65 byla na zámku vězněna hraběnka Anna Constantia von… číst dále