
Hlavní budova třípatrového paláce je čtvercová, dvě boční křídla, příčné a zadní křídlo vytváří dva úzké dvorky. Část sklepení je tvořeno přízemím původního románského domu s křížovou klenbou, část sklepení je gotická. Hlavní průčelí do Celetné ulice zdobí vrcholně barokní portál s dvojicí Atlantů po bocích, nesoucích balkon s klasicistním zábradlím. V přízemí hlavní budovy se dochovaly vrcholně barokní klenby. Patra hlavní budovy a další křídla mají uvnitř podobu po přestavbě na samém počátku 20. století.
V roce 1701 jej získal hrabě Zikmund Valentin Hrzán z Harrasova. Ten jej nechal vrcholně barokně přestavět, patrně podle projektu G. B. Alliprandiho. Přestavba byla dokončena kolem roku 1723. Na konci 18. století jej získali Vrtbové, kteří nechali v roce 1801 přistavit v nádvorní části 3. patro. Další majitelé, Lobkowiczové, jej získali v roce 1839. Ti nechali v nádvorním traktu vybudovat klasicistní pavlače. Úpravy interiérů v patrech a vestavby nových dvorních křídel proběhly v roce 1901..