
Nejstarší část hradu zaujala nejvyšší (348 m n. m.) z mnoha vystupujících vápencových skalních bloků. V jihovýchodním nároží obvodové hradby stála okrouhlá věž o průměru 8 m a výšce 20 m. Při její patě byla zděná okrouhlá cisterna na vodu. Palác byl postaven v nejchráněněnější severní části skály. Zřejmě současný je střední hrad při východním boku jádra plnící původně úlohu hospodářského zázemí. Na počátku 16. století byla cihlovou nástavbou zvýšena okrouhlá věž do současné výšky cca 26 metrů, při severní patě jádra postaven dolní hrad. Přibyla také i dvě předhradí na severovýchodě a mnohem rozsáhlejší na jihozápadě s tzv. Rychtářskou baštou – čtverhrannou věží na nejzazším jihozápadním konci hradu. Ta by podle některých autorů mohla být nejstarší části hradu z dob biskupa Jana Muskaty.
Roku 1370 jej Ludvík Uherský spolu s jinými hrady dal lénem knížeti Vladislavu opolskému. Roku 1391 jej na popud šlechty oblehl a dobyl král Vladislav Jagellonský. Později se stalo zvykem dávat jej jako hejtmanství nevýznamnějším polským rodům. Roku 1587 neúspěšně obléhal Olsztyn nápadník polského trůnu rakouský arcivévoda Maximilián, zato švédska vojska jej roku 1657 dobyla a zpustošila. Od té doby již hrad ležel v ruinách, po roce 1722 byla velká číst zdiva rozebrána na stavbu kostela v městečku pod hradem.