
V minulosti bývala tato stavba označována jako nejkrásnější brněnský šlechtický palác ve vnitřním městě. Na nároží současné Masarykovy a Josefské ulice stával takřka dvě století palác hraběcí větve Dietrichštejnů, označovaný také jako „dolní“, aby byl odlišen od „horního“, knížecího paláce Dietrichštejnů na Zelném trhu.
Palác byl bohužel v rámci regulace brněnského centra na počátku 20. století zbourán. Zbylo jen velmi málo krom fotografií, co by upomínalo na tuto bývalou historickou stavbu. Palác se táhl podél původně Židovské ul. (dnes Masarykova) od kostela sv. Máří Magdaleny směrem k městským hradbám a Židovské bráně. Na jeho místě dnes stojí pseudobarokní novostavba, která přibližně respektuje rozlohu původního paláce. Z původního paláce bylo do kompozice nové stavby použito zábradlí původního balkonu (s iniciálami LGD: Leopold Graf Dietrichstein) a ve dvoře, který respektuje dvůr starší stavby najdeme zachovalé průčelí a řadu barokně klasicizujících arkád.
Dnes sídlo Krajského soudu v Brně.
Tuto výstavbu dokumentuje několik sporů Dietrichštejnů se sousedními františkány, které se týkaly rozporů ohledně postupu stavby paláce a stížností františkánů na omezování kláštera stavbou. O autorství stavitele se vedou spory. Ve většině dokumentů je jako stavitel zmiňován Domenicus Martinelli, avšak stále častěji se skloňuje i jméno pozdějšího dvorního architekta Dietrichštejnů Františka Antonína Grimma. V roce 1725 předal tehdy již kníže Walter F. Xaverský (s papežským svolením se stal knížetem) tzv. dolní dům svému druhorozenému synovi hraběti Leopoldovi z Dietrichštejna. Palác byl tehdy patrový s hlavním průjezdem v ose stavby z Židovské ulice a měl celkem 9 místností v patře (s honosnými pokoji a kaplí) a 3 v přízemí (sala terrena). V r. 1738 se hrabě Leopold rozhodl výrazně přebudovat svůj sekundogeniturní palác. Přikoupil tzv. Freybergův dům, který stál mezi klášterem a palácem, a jeho místo využil k výraznému rozšíření paláce. Stavba byla zahájena zednickým mistrem Mořicem Grimmem r. 1739 a opět vyvolala spor se sousedními františkány. Ti si stěžovali na to, že nová stavba jim stíní. Přestavba paláce se týkala především místa původního Freybergova domu, na jehož místo se rozšířil hraběcí palác, rozšířilo se vnitřní nádvoří a rozdělilo na tzv. velký (čestný) dvůr a zadní nádvoří se stájemi. Nově byla také zcela přepracována fasáda paláce do Židovské (Masarykovy) ulice. Autorem projektu se stal pravděpodobně Ludwig Sebastian Kaltner. Ten se pokusil vytvořit vnitřní řešení formou tzv. francouzského dvojtraktu. K původně plánovanému spojení paláce s kostelem (resp. plánovanou hraběcí oratoří v kostele) ale nedošlo. Již v roce 1743 se zapojil do projektu paláce syn stavitele Mořice Grimma František Antonín, který je podle všeho také autorem závěrečné fáze přestavby hraběcího paláce v Brně. František Antonín Grimm je považován za architekta rokokového klasicismu na Moravě. Dokončení přestavby paláce je kladeno do roku 1745. Hrabě Dietrichštejn všemožně podboroval umělecký a společenský život v Brně, což mu brzy přineslo finanční potíže. Po jeho smrti v r. 1773 byly všechny jeho brněnské domy prodány. Hraběcí palác koupil hrabě Karel Josef ze Salm-Reifferscheidtu. Jeho nástupce Karel Josef Salm byl velmi energickým a podnikavým mužem, který byl dokonce povýšen do knížecího stavu. Z reprezentativních důvodů se rozhodl pro úpravy svého brněnského paláce, které se týkaly především interiérů. Za knížete Karla Josefa se palác stal místem setkávání členů zednářské lóže, jejímž byl kníže guberniálním radou. Avšak i na Salmy brzy přišla finanční krise a na počátku 19. století prodávají svůj brněnský palác státu, který zde umísťuje státní úřad Kamerální správy. Později je palác využíván Nejvyšším zemským finančním úřadem. Již na přelomu 19. a 20. století bylo přes protesty vídeňské c. a k. centrální komise pro památkovou péči rozhodnuto o demolici paláce v rámci regulace historického centra. V r. 1906 došlo k vlastní demolici..