
Současná podoba budovy pochází z přestavby v letech 1861–1864, kterou navrhl Vojtěch Ignác Ullmann. Jde o patrovou novorenesanční stavbu palácového typu, vzniklou jako novostavba na místě dvou starších domů. Budova má půdorys ve tvaru písmene L a její hlavní průčelí do Panské ulice je komponováno symetricky kolem mělkého středního rizalitu, završeného trojúhelným tympanonem. Dvorní křídla vznikla v letech 1904–1905, jejich autorem byl Matěj Blecha. Část dvorní zástavby byla odstraněna; některé části objektu byly z památkové ochrany vyňaty a v roce 1997 demolovány.
V 15. století byla parcela rozdělena a zastavěna několika domy. Některé z nich vlastnili příslušníci rodu Bezdružických z Kolovrat, kteří se podíleli na jejich renesančních úpravách. V letech 1570–1600 se jeden z domů označoval jako U Tří černých hvězd. Budovy byly poškozeny při švédském bombardování Prahy roku 1648. Roku 1690 zdejší nemovitosti získala hraběnka Johanna Barbora Eusebie Carretto-Cavrianiová z Millesima. Postupně spojila několik sousedních domů a přeměnila je v raně barokní šlechtické sídlo. Po jejích dědicích přešel objekt do majetku hraběte Adolfa z Kounic. V roce 1757 byl znovu poškozen při pruském obléhání Prahy. Později prošel klasicistními úpravami a roku 1860 jej vnuk hraběte Adolfa prodal Sofii von Lämel. Ta nechala v letech 1861–1864 na místě starších domů vystavět nový palác podle projektu architekta Vojtěcha Ignáce Ullmanna. Na počátku 20. století se budova stala sídlem novinářského a tiskárenského provozu. V letech 1904–1905 byla podle projektu Matěje Blechy rozšířena o dvorní křídla při adaptaci na tiskárnu. S palácem je spojeno německy psané pražské periodikum Prager Tagblatt, jehož redakce zde působila v letech 1914–1939. Mezi novináři a spisovateli, kteří s listem spolupracovali, byli například Egon Erwin Kisch, Max Brod a Alfred Polgar..