klášter piaristů s kostelem sv. Františka Serafinského

Klášter nebo také kolej piaristů se nachází východně od zámku, směrem do centra Lipníku. Byl založen v roce 1634 kardinálem Františkem z Dietrichštejna při bývalém kostele Nejsvětější Trojice (dnes sv. Františka Serafinského). Za vpádů Švédů do Lipníka se piaristé uchýlili na nedaleký hrad Helfštýn.

Stavba nové budovy byla započata v roce 1660. Dostavěna byla v roce 1670 náhradou staré budovy, která byla postupně bořena. Roku 1670 piaristé přikoupili pozemek na rozšíření klášterní zahrady. Roku 1734 byl blízký potok Loučka přeložen mimo klášterní zahradu a do kláštera byl zaveden městský vodovod. Obdélná klášterní zahrada byla ohrazena zdí se třemi drobnými nárožními baštami s cibulovými helmicemi a dělena pravoúhlým členěním. V roce 1672 byla zbořena stará škola a do roku 1674 bylo postaveno nové nižší gymnázium s vížkou (zrušeno 1774). V zahradě koleje byla do roku 1739 klášterní cihelna, přeměněná později na sušárnu ovoce. Gymnázium bylo zrušeno roku 1774, noviciát roku 1869, kolej byla zrušena 1884 (vyučování však skončilo již 1873) a proměněna na byty a sýpky.

V dnešní době je objekt koleje ve špatném technickém stavu a čeká na rekonstrukci. Zájem projevilo několik institucí se záměrem zřízení společného depozitáře archeologických artefaktů, tento projekt má i podporu současného vlastníka areálu města Lipník, zatím však vše vázne na chybějících financích.