
Čtyřkřídlý palác svírá lichoběžný dvůr. Uliční průčelí je pozdně barokní s renesančním portálem. Na lukovitém střešním štítu s tympanonem je erb Hrzánů z Harrasova. Dvorní fasády vznikly při úpravách v letech 1949–52, zůstaly ve stylu socialistického realismu. V suterénu si část sklepení uchovalo gotický a renesnční charakter. V severovýchodním nároží jsou zabudovány fragmenty bašty opevnění Hradčan. Místností v přízemí mají většinou pozdně renesanční a raně barokní klenby. Místnosti v patře „podlehly“ přestavbě v letech 1949–52, ve dvou místnostech se zachovaly pozdně barokní nástropní štuky.
Dům během 15. století zpustl a proto byl v 1. polovině 16. století přestavěn ve stylu pozdní gotiky. Ve 2. polovině 16. století jej vlastnili Lobkowiczové a Šternberkové, kteří dům v letech 1588–1600 pozdně renesančně přestavěli. Na počátku 17. století palác vlastnili Trauttmannsdorfové a po nich, v polovině 17. století Kolowratové. Ti palác nechali raně barokně přestavět. Na počátku 18. století palác koupili Hrzánové z Harrasova. V polovině století získala objekt kapitula sv. Víta, která v 70. letech 18. století pozdně barokně přestavěla. Další úpravy již nijak výrazně neovlivnily vzhled budovy, od 19. století po dnešek proběhlo několik oprav a rekonstrukcí. V letech 1894–95 v části paláce bydlel budoucí prezident T. G. Masaryk s manželkou Charlottou. Od první světové války do roku 1924 zde tvořil malíř Ferdinand Engelmüller, který měl v bývalém Masarykově bytě ateliér a malířskou školu. Ateliér v zadním traktu paláce užíval v letech 1937–1970 malíř Jan Slavíček, syn krajináře Antonína Slavíčka. Objekt dnes slouží vládě České republiky, spravuje jej úřad vlády ČR.