
V budově se dochovaly sklepy a zdi z původních gotických a renesančních domů (např. klenby). Palác je jedním z umělecky nejcennějších děl pražského rokoka. Najdeme na něm charakteristické prvky tohoto stylu, např. portály s vykrojenými horními rohy, rokokovou štukovou ornamentiku, rokaje a girlandy. Severní průčelí je vyzdobeno méně než východní průčelí, jižní průčelí je spíše klasicistní. Na střeše atikového patra jsou kamenné vázy a sochy Ignáce Františka Platzera z doby kolem roku 1787.
Autorem projektu přestavby byl architekt Josef Jäger. Palác byl nejprve nazýván podle jednoho z původních domů U kamenného stolu, časem se mu začalo říkat Grömlingovský či Kremlinkovský. V přízemí budovy bylo roku 1740 otevřeno pohostinské zařízení, kde se též prodával tabák a noviny. V roce 1874 zde byla otevřena kavárna Café Radetzky. Zprvu to byla důstojnická kavárna, později však začala sloužit jako místo, kde se scházely osobnosti české kultury – např. Jan Neruda, Ema Destinová (která nějakou dobu bydlela v protějším Kaisersteinském paláci) či Jan Zrzavý. Po válce získala dodnes používané jméno Malostranská kavárna. V roce 1939 koupil palác podnikatel Popper, po roce 1948 budovu užívalo spolu s kavárnou Státní zdravotnické nakladatelství Avicenum. Na počátku 21. století byly upraveny prostory kavárny v duchu barokního minimalismu..