
Palác je sídlem Národního památkového ústavu a je přístupný jen v rámci úředních kontaktů s památkáři. Za úplatu jsou ovšem přístupné palácové zahrady na jižním úbočí hřbetu Pražského hradu. V nádvoří paláce sídlí kavárna.
Horizontálně disponované průčelí vrcholí trojúhelníkovým štítem. Členění okenních šambrán a parapetů svědčí o původu v raném klasicismu. Na palác navazuje hodnotná terasová zahrada, stoupající až k tarasní zdi zahrad Pražského hradu. Součástí jejího parteru je vynikající arkádová sala terrena s dynamicky vypnutou střední částí průčelí a malebnou nástavbou s členitými střechami. Protějškem saly terreny je na severovýchodní straně zahradního parteru dvouramenné schodiště, v jehož ose je podesta s nikou se sochou Herkula. Interiér saly terreny je zdoben štukovými napodobeninami zřícenin a freskovou výmalbou s antickými ruinami..
Po založené Malé Strany byla zřízena brána v hradbě mimo nynější Valdštejnskou ulici (ve východní zdi zadní části Pálffyovského paláce). V místech Ledebourského paláce zřejmě stálo asi 5 středověkých domů (šestý byl asi v místech uličky při jihozápadní straně paláce). Ty byly hlavně v souvislosti s postupným skupováním parcel slučovány v 16. století, hlavně po roce 1541, kdy spolu s Hradem a velkou částí Malé Strany i tato část zástavby vyhořela. Nejvýraznější budovou byl výrazný palác v pravé polovině nynější parcely, z něhož se zachoval mramorový portál vjezdu (s datací 1588). Konečné sloučení dispozice údajně provedl Ondřej Hanybal z Ekersdorfu, po zakoupení domů v roce 1601. Po několika změnách majitele údajně zchátralé domy koupil roku 1665 Jan Václav Novohradský z Kolowrat, který dům nechal přestavět raně barokně v letech 1665–1669 podle projektu Giovanni Domenica Orsiho. Po roce 1697 Trautmansdorfové upravovali především zahradu (do té doby byl hradní svah za domem bez využití). Asi oni založili proslulou salu terrenu, k jejíž výstavbě však bohužel chybějí prameny. Za autora odborníci považují buďto Giovanni Battistu Alliprandiho nebo Františka Maxmiliána Kaňku. Po roce 1801 připojil poslední části paláce na západní straně Josef Krakovský z Kolowrat. O rok později vyprojektoval přestavbu Ignác J. N. Palliardi. Roku 1852 dům přešel do majetku Adolfa Ledeboura-Wicheln, který prováděl dílčí úpravy podle projektu Johanna Maxmilána Hegera. Po roce 1945 zde sídlilo ministerstvo informací a po roce 1990 památkový ústav..