
Palác byl sídlem Nejvyšších purkrabí, úředníků, kteří po čas nepřítomnosti zastupovali krále. Původně zde stával románský dům, později goticky přestavěný. Od roku 1334 zde několik let žil moravský markrabě Karel, pozdější císař Karel IV., než se přestěhoval do opraveného královského paláce. Pro potřeby úřadu Nejvyššího purkrabího nechal dům po požáru v roce 1541 upravit Jan z Lobkovic. Přestavba probíhala v letech 1555–1561 a provedl ji vlašský stavitel Giovanni Ventura; za něj vznikla sgrafitová výzdoba fasád. Další renesanční úpravy, které areálu daly dnešní tvář, provedl v 90. letech 16. století Ulrico (či Oldřich) Aostalis de Salla. Jeho dílem je krásný renesanční štít. V 60. letech 20. století zde byl Dům československých dětí. V současnosti je zde Muzeum hraček a galerie. Od roku 1994 se na nádvoří konají Letní shakespearovské slavnosti.