
Jesuity uvedl na svá panství v rámci snahy o zadržování nástupu luterství Vilém z Rožmberka. Krumlovskou kolej založil spolu se svou čtvrtou manželkou Polyxenou, rozenou z Pernštejna, roku 1586. Podle plánů, vypracovaných rektorem pražské koleje Alexanderem Vojtou a upravených rožmberským stavitelem Baldassarem Maggim z Arogna, byla na místě šesti měšťanských domů postavena za dva roky. Jesuitům kromě domácí kaple Matky Boží sloužil i farní kostel svatého Víta, se kterým kolej spojuje dodnes patrová chodba, vedená přes sousední prelaturu.
Objekt koleje se dochoval dodnes v renesanční podstatě. Řád ho využíval do svého zrušení roku 1773, následně zde byla kasárna. Kvůli incidentu s městskou radou odtud armáda odešla roku 1887. Roku 1888 jej v aukci získal Adolf rytíř Jungmann, který ho věnoval České záložně. Objekt od té doby sloužil jako středisko české menšiny ve městě, od roku 1889 zde je v provozu hotel Růže, pro jehož potřeby proběhla zatím poslední velká rekonstrukce v 80.–90. letech 20. století, která rehabilitovala řadu renesančních prvků.