
Nejstarší část hradu zaujala vrchol vystupujícího skalního bradla. Na východní čele stála válcová věž, která svou hmotou kryla palác na západě. Jižně a východně od bradla bylo předhradí, v jehož východní části byl v první čtvrtině postaven rozsáhlý trojkřídlý pozdně renesanční zámek s více než 40 obytnými místnostmi. Vstup byl veden věžovitou bránou od severu z plošiny ve tvaru půlměsíce, kterou ze tří stran obklopoval mohutný příkop s valem.
Roku 1396 je zmiňován hradní kaplan, od roku 1400 pak pravidelně rabsztynští purkrabí. Melsztyńští drželi Rasztyn do roku 1441, kdy po přeslici přešel na Tęczyńské erbu Topor. Ti na královský rozkaz zesílili opevnění hradu a začali se psát po něm. Posledním z Rabsztyńskich bych Ondřej, po jehož smrti roku 1509 se majitelé často střídali. Po vymření Jagellonců se hradu nevyhnuly nástupnické zmatky, roku 1587 posádka hradu výrazně přispěla k odražení vojsk arcivévody Maximiliána, která podporovala jeho kandidaturu na polský trůn obležením Krakova. Během první čtvrtiny 17. století vybudoval korunní maršálek Zikmund Myszkowski nebo jeho nástupce Mikuláš Wolski výstavný renesanční dolní hrad. Již roku 1655 však byl hrad vydrancován ustupujícími Švédy. Zpustošený hrad byl opuštěn a postupně začal chátrat. K jeho zkáze přispěli i hledači pokladů, kterým na konci 19. století padla za oběť i věž horního hradu.