
Dnešní zámek je jednoduchá, obdélníková, jednopatrová budova, se střídmou štukovou výzdobou fasády, krytá mansardovou střechou. Hlavním rysem fasády je římsa oddělující patra po celém obvodu. V hlavním průčelí, nad hlavním vchodem je trojúhelníkový štít. Výrazně zdobnější je jen hlavní vstupní portál. Místnosti v přízemí jsou klenuté, v patře plochostropé.
Slezské Pavlovice stejně jako Slezské Rudoltice byly ve 13. stol. lénem olomouckého biskupství. Doba vzniku tvrze není přesně známa, ale pravděpodobně tvrz stála již ve 2. polovině 14. stol., za leníka Jindřicha z Fulštejna. Většina literatury se shoduje, že někdy v polovině 15. stol., za Supů z Fulštejna byla tvrz přestavěna na renesanční zámek neznámé podoby. Dnešní podoba zámku je z poloviny 18. stol., kdy za Jana z Mattencloit došlo k jeho pozdně barokní přestavbě. Mattencloitové vlastnili zámek i za první republiky, kdy postupně přešel do majetku rodiny Justovy, která jej vlastnila až do roku 1945. V roce 1961, kdy zámek zpravoval n. p. Zdravotnické zásobování Praha byl zámek opravován. Dnes je v majetku Pozemkového fondu České republiky a chátrá.