
Městiště dnešního paláce prošlo složitým vývojem. Původně na jeho místě stálo až devět domů, jejich zbytky se však nedochovaly. Domy postupně skupovali Martinicové. První zakoupil roku 1629 Jiří Adam Bořita z Martinic, další Maxmilian Valentin z Martinic roku 1654. Celý blok pak získal Maxmilian Valentin o čtyři roky později – v roce 1658. První stavební aktivity na nově sjednoceném městišti zahájil kolem roku 1665 Jaroslav Bernard z Martinic. Stavebníkem současného paláce byl Jiří Adam II. z Martinic, který pro stavbu získal římského architekta Carla Fontany. Stavba průkazně probíhala už v roce 1701. Po vymření Martiniců získal palác rod Clam-Martiniců a patřil jim až do roku 1837. V tom roce koupil palác vojenský erár a zřídil tu dělostřeleckou nemocnici. Vojáci využívají budovu dodnes – sídlí zde Hradní stráž.