
Zámek je jednopatrová renesančně-barokně-klasicistní budova jejíž čtyři křídla obklopují stísněné nádvoří. Vstup byl sloupovým portikem před jihovýchodním křídlem. Čestný dvůr uzavírala po stranách ve větší vzdálenosti od hlavní budovy dvě hospodářská křídla.
Celek je obklopen obdélníkem (170x300 metrů) fortifikaci s bastiony v nárožích a uprostřed delších stran. Z nich se nejlépe dochovala dvojice při severozápadním čele.
Ten po roce 1636 velký podkomoří koruny Stanisław Warszycki významně rozšířil a obklopil jej bastionovým opevněním. Ani to však nepomohlo roku 1655, kdy zámek dobyli Švédové, stejně jako během severských válek na počátku 18. století. Roku 1731 koupila zámek Maria z Wesslów Sobieska a přestavěla jej podle francouzské módy. Později se majitelé zámku často střídali a na stav zámku příliš nedbali, do původní krásy jej opravil až roku 1852 průmyslník K.A. Moes. Další opravy si vyžádaly škody způsobené několika požáry. V první polovině 20. století náležela Pilica rodině Arkuszewskich, během okupace u pevnostních zdí nacisté popravovali partyzány a odbojáře. Po roce 1945 zámek převzal stát a umístil v něm dívčí dětský domov a později výchovný ústav pro mládež. Roku 1989 zámek koupila Barbary Johnson-Piasecka, naději na jeho rekonstrukci však doposud brzdí nevyjasněné restituční nároky..