
Z původního renesančního paláce pochází dispozice o dvou nádvořích, přízemí se vstupní arkádou, východní křídlo paláce Švamberků, sklepy pod nádvořím a sklepní části při jižní hradební zdi. Interiéry byly v baroku upraveny pro potřeby ústavu. Chovanky obývaly 1. a 2. patro ústavu, dále zde měla byt abatyše, byly zde společenské místnosti, chór, kaple Nejsvětější Trojice a Neposkvrněného početí Panny Marie a hospodářské zázemí.
Část tohoto pozemku v roce 1513 získali páni z Rožmberka. Požár v roce 1541 vytvořil prostor pro novou výstavbu. Vlašský stavitel Hanse zde pro Rožmberky nejprve postavil čtyřkřídlý palác s arkádami a branou do Jiřské ulice. Později Rožmberkové získali sousední domy pánů ze Švamberka a z Rožmitálu, a palác rozšířili o rozlehlou zahradu s arkádovým ochozem. Stavbu prováděl v letech 1573–74 Ulrico Avostalis. Roku 1600 získal palác Rudolf II. a spojil jej s Ludvíkovým křídlem Královského paláce. Ve 20. letech 18. století bylo Thomasem Haffeneckerem přistavěno 2. patro a změněny vnitřní dispozice. Od počátku padesátých let 18. století prováděl Anselmo Luragho přestavbu pro účely Ústavu šlechtičen. Práce trvaly do prosince 1756, ústav však byl slavnostně otevřen již koncem roku 1755. První představenou se stala dcera Marie Terezie – arcivévodkyně Marie Anna. Rozsáhlé zařízení s vlastní kaplí sloužilo k výchově 30 mladých šlechtičen. V letech 1787–88 byly budovy adaptovány pod vedením prof. Františka Leonarda Hergeta. Ústav šlechtičen byl zrušen 1. 5. 1919 a budovu od té doby užívalo Ministerstvo vnitra. V lednu 2008 byly dokončeny rozsáhlé rekonstrukce původní renesanční budovy Rožmberského paláce i mladších částí. Od jara 2008 je budova částečně přístupna veřejnosti..