
Dominanta města Paskov, čtyřkřídlý patrový zámek s mansardovou střechou a novoklasicistními fasádami stojí v parku na břehu říčky Olešné. Od města je oddělen přízemním podlouhlým tzv. předzámčím s uprostřed vysokou vstupní věží s hodinami. Nad portálem stojí za pozornost erb hrabat Stolbergů. Každá strana předzámčí je ukončena baštovitými výběžky. Po zkonfiskování Stolbergům v r. 1945 byl zámek adaptován na nemocnici a dnes na onkologickou léčebnu. Vedení nemocnice bohužel nebylo ochotno (či schopno) budovu zámku rekonstruovat, proto přistoupili k vyklizení budovy. V současnosti je proto zámek vyklizen a uzavřen. Volně přístupný je pouze dochovaný zámecký park.
Známky složitého vývoje však nese rozvrh zámecké stavby stále. Celý zámecký areál je poškozen zásahy pro potřeby zdravotnictví a zámek i s přilehlým předzámčím by potřeboval celkovou rekonstrukci. Zámek obklopuje park, kdysi honosná zahrada s množstvím cenných soch.
K tvrzi patřily silné zdi znatelné zřetelně z půdorysu. V severním křídle to byla snad věžovitá stavba, kterou nechal zbořit hrabě Mořic Saint Genois d´Harnoncourt až při obnově po požáru z roku 1869. O renesanční přestavbě svědčí vnější opevnění s válcovými baštami, které se částečně zachovalo na severu, západě a jihozápadě. Není vyloučeno, že se na jeho stavbě podíleli páni z Pernštejna po roce 1530. Renesanční přestavbu tvrze můžeme snad připsat Ctiborovi Syrakovskému z Pěrkova. Výsledky obnovy po vydrancování Švédy, kterou provedl Václav Bruntálský z Vrbna po roce 1643, lze od starší přestavby rozlišit jen těžko. V každém případě zámek nabyl čtyřkřídlé podoby s pilířovými arkádami kolem nádvoří a dochovanými klenbami v přízemí. Při zmíněné přestavbě v 19. století byl zámek dotvořen vestavbou vstupní haly a schodiště s klenutými plackami. Vstup byl zvýrazněn rizalitem s trojúhelným štítem a vázami, na bočních křídlech jsou rizality nepravé. Na straně parku vznikl ještě balkon. Pseudobarokní kapli nechali v roce 1914 doplnit Stolbergové. Poslední hrabě Stolberg se těsně po válce odstěhoval do Německa. V 50. letech 20. století byl zámek necitlivě přestavěn na onkologickou léčebnu, která v jeho zdech fungovala až do počátku našeho století. Po jejím zrušení byl zámek dlouhá léta opuštěn, až jej roku 2013 do vlastnictví získalo město Paskov, které jej upravuje na sídlo městského úřadu, knihovny a dalších municipálních institucí..