
Bývalý klášter a kostel Všech svatých stojí západně od někdejšího hrazeného města, na náměstí Osvobození. V klášteře sídlí muzeum se zajímavými historickými a především přírodovědnými expozicemi. V loretánském ambitu se pořádají příležitostné akce a výstavy. Rekonstruovaná klášterní zahrada nabízí možnost krátkodobé rekreace, nachází se tu i Klášterní vinárna. Parkování v okolí bezplatné, od okružní křižovatky na silnici II/262 (Děčínská) po ulici Paní Zdislavy asi 100 m východně.
Od vlakového i autobusového nádraží necelý kilometr k severu příjemnou pěší cestou přes řetězovou lávku nad Ploučnicí a kolem stadionu k domu kultury, odtud po schodech a úzkým průchodem přímo ke kapli Nejsvětější Trojice.
1627. Zprvu byl stavěn kostel Všech svatých a navazující trojkřídlý konvent, stavbu nepříznivě ovlivnila Valdštejnova smrt v Chebu roku 1634. Po skončení třicetileté války stavba znovu nabrala tempo. Rozhodujícím obdobím bylo poslední desetiletí 17. století, kdy byl dokončen konvent. Zároveň se západně od něj začal stavět loretánský ambit se Svatou chýší, dokončený budovami Svatých schodů (1727) a kaple Nejsvětější Trojice (1730). Jižně od kláštera vyrostla rozsáhlá zahrada, převážně užitková. Augustiniáni provozovali latinskou školu (gymnasium), kterou až do 80. let 19. století prošla řada významných osobností regionu. Od roku 1787 navíc vykonávali farní správu města, což uchránilo klášter od zrušení. Toho roku totiž vyhořel a byl opuštěn hlavní farní chrám sv. Petra a Pavla v centru města (na dnešním Škroupově náměstí) a jeho funkci převzal kostel Všech svatých. Všechny českolipské kostely tak dnes stojí na bývalých předměstích. Roku 1820 vyhořela kostelní věž, kterou od té doby kryje nízká stanová střecha. Klášter zanikl roku 1950, budova poté sloužila jako sídlo archivu a muzea, kostel plnil svou funkci. Muzeum zde sídli dodnes..