
Původně měšťanský dům vznikl po roce 1765 sjednocením starších domů. Z nejstarší zástavby se dochoval gotický prostor, dnes na úrovni sklepa. V historii měly domy různé majitele, zejména kolem třicetileté války se zde majitelé rychle střídali. V 18. století jej vlastnil i Václav Ignác hrabě Deym ze Stříteže (majitel a sjednotitel dalšího novoměstského paláce – viz heslo Deymův palác), ten jej však užíval k hospodářským účelům, např. jako sýpku. K zásadní přestavbě a sjednocení několika sousedních objektů přistoupil komerční rada Jiří Tobiáš Goldberg z Kholbergu. Stavba byla dlouho mylně přičítána Palliardimu, nově je však prokázáno autorství Antonína Schmidta. Stavba byla dokončena pravděpodobně kolem roku 1770, roku 1777 byla ještě upravována fasáda. Palác dále střídal různé šlechtické a zejména měšťanské majitele. Současný název získal až po roce 1856, kdy jej koupil František Arnošt hrabě z Harrachu. V současnosti slouží jako sídlo několika firem, v dolní části jsou obchody.