
Na svou dobu rozlehlý hrad se skládal ze čtyř částí seřazených za sebou na vrcholu kopce. Jeho nejvyšší plochu zaujalo přibližně trojúhelné jádro s věžemi při každém nároží. V severním nejchráněnějším to byla nejstarší budova hradu, mírně lichoběžná obytná věž o rozměrech cca 10,5x7 metrů. V jihozápadním nároží to byla čtverhranná věž, ke které bylo od severu přistavěno obytné křídlo a na počátku 14. století podél čelní hradby jádra obdélná kaple zaklenutá dvěma poli křížové klenby s pětibokým závěrem. V posledním jihovýchodním nároží chránila vstupní bránu proraženou v hradbě vysoká okrouhlá věž o průměru 9 metrů. Před bránou byl od východu malý lichoběžný dvorek s maximálně jednou nevelkou budovou při severní stěně. V tomto dvorku se přístupová cesta vedená podél čela jádra do věžovité brány obracela o 180°.
Boky jádra obíhal parkán, který se před jeho čelem rozvíral do rozlehlého třetího nádvoří s čelní hradbou zpěvněnou čtverhrannou věžicí. Z jeho zástavby známe pouze rozlehlou obdélnou budovu při východní hradbě sloužící nejspíše hospodářským účelům. Ve třetím nádvoří se cesta opět otáčela o 180° a kulisovou bránou v hradbě mezi hospodářskou budovou a dvorkem jádra vedla na nižší druhé nádvoří. V čele druhého nádvoří stála druhá mohutnější (průměr 10,5 metrů) a mírně konická okrouhlá věž. Hradby druhého nádvoří k severu opět obíhaly jako parkán výše položené části hradu, od jihu k nim bylo přiloženo víceboké první nádvoří s protáhlou obdélnou budovou vstupní brány v čele. K ní vedl přes čelní příkop padací most.
Dílem krále byly pravděpodobně především věže, hradby a brány, poté nejspíš stavbu převzal Boreš z Oseka, jehož dílem může být nevelký palác v jádře. Ve velkorysém projektu nemohl pokračovat ani tak mocný a bohatý rod, jakým páni z Oseka byli, proto je hrad tak nezvykle prázdný a chudý na další zástavbu. Vyskytly se ovšem i hypotézy, že rozlehlé opevnění hradu je mladšího data, snad ze 14. století, doposud však nebyly potvrzeny ani vyvráceny.
Stavba rozsáhlého hradu však pokračovala dále a byla dokončena až Boršovým stejnojmenným vnukem na počátku 14. století. Páni z Oseka (či Rýzmberka) seděli na hradě až do roku 1398, kdy jej zadlužený Boreš ml. musel prodat míšeňskému markrabímu Vilémovi a jeho manželce Alžbětě. Jeho potomkům potvrdil držení Oseka jako zástavního statku roku 1422 císař Zikmund. Českým králům bylo trnem v oku, že významný hrad uvnitř českého území je v cizích rukách, proto se snažili získat jej zpět. Podařilo se to až králi Jiřímu roku 1459, od následujícího roku jej postoupil do zástavního držení svému věrnému přívrženci a častému věřiteli Prokopovi z Rabštejna. Krátce před jeho smrtí (†1472) byl údajně Osek roku 1469 obležen královským vojskem, prokazatelně dobyt byl však až o čtyři roky později (1473), když saským knížatům došla trpělivost s nájezdy Prokopova nástupce Jindřicha z Rabštejna. Knížata Arnošt a Albrecht odevzdali dobytý hrad královně Johance. Král Vladislav přiměl Jindřicha prodat zástavní osecké zboží Pavlovi Knížeti ze Sulevic. Ještě roku 1488 se páni ze Sulevic psali seděním na Oseku, krátce poté však přesídlili na svou novou tvrz v Duchcově a hrad opustili. Roku 1523 prodal Jan Kaplíř ze Sulevic oseckou zástavu Děpoltovi z Lobkovic, jehož synové o sedm let později získali od krále Ferdinanda Osek do dědičného držení. Lobkovicové již natrvalo sídlili na tvrzi a později zámku v Duchcově a opuštěný hrad v průběhu 16. století zcela zpustnul. Před polovinou 17. století zdědili duchcovské panství i s pustým hradem Valdštejnové, kterým patřilo až do poloviny 20. století, kdy byl hraběti Karlu Arnoštovi z Valdštejna jeho majetek vyvlastněn..
V nejistém dokladu se hrad prvně uvádí v roce 1226, první doložitelná zpráva je z roku 1255, kdy se mluví o Borešovi z Rýzmburka (jeden ze synů Bohuslava) a dokončen byl nejspíš v 70. letech 13. století (nejpozději počátkem století 14.). Boreš, dvorní maršálek krále Václava I., se postavil do čela české šlechty v povstání proti královu synovi Přemyslu Otakaru II. V roce 1248 ho u Mostu porazil. Po nástupu Přemysla na trůn (1253) neušel perzekuci a mimo jiné přišel i o hrad Rýzmburk, který však nadále spravoval jako kastelán. Po usmíření s králem se s bratrem Slavkem (osecký opat) po králově boku zůčastnil v letech 1253–4 výpravy do východních Prus a proslul zejména v bitvě s Uhry u Kressenbrunnu (1260). Roku 1276 znovu povstal proti králi (společně s Vítkovci vedenými Závišem z Falkenštejna). Byl zajat a ve vězení patrně zemřel (1277–8). Byl zbaven majetku, ale dříve, než došlo ke konfiskaci, padl i Přemysl Otakar II. Do roku 1280 držel dědictví Borešův syn Bohuslav a po něm spravoval jmění Bedřich ze Šumburka (bratr Borešovy manželky, poručník jeho synů Boreše – 1291–1344 a Bohuslava), který, prohlášen za zemského škůdce, byl poražen a zajat Závišem z Falkenštejna. Po smrti Boreše spravovali panství jeho synové Boreš († 1391 ??) a Slavek († 1385). Roku 1378 prodal Slavek svůj díl Boršovi, jehož dva synové – Boreš starší a mladší se hradu roku 1398 vzdávají ve prospěch míšeňského markraběte Viléma. Hrad byl prodán bez svolení krále, příměří uzavřel král Václav až s Vilémovým synem Bedřichem († 1438) v roce 1411. V době husitských válek se hrad stal katolickou baštou a v roce 1438 zde bylo vězněno 130 husitských zajatců. Od roku 1449 se snaží Jiří z Poděbrad o navrácení hradu koruně české, což se mu v roce 1459 podařilo. Rok předtím byl hrad opraven a jeho opevnění zesíleno. Hrad převzal Zbyněk Zajíc z Házmburka a roku 1460 jej Jiří z Poděbrad zastavil Prokopu z Rabštejna († 1472). V roce 1468 obsadili za nejasných okolností hrad němečtí křižáci a v letech 1471, 73 Sasové. Patrně proto, že nástupce Prokopa Jindřich z Rabštejna podnikal do Saska výboje. Roku 1474 postoupil král Vladislav II. Rýzmburk Pavlu ze Sulevic, od roku 1523 jej vlastnili Lobkovicové a po nich Valdštejnové (1651). Již páni ze Sulevic hrad neobývali, od jejich doby postupně pustl. Rýzmburští drželi po opuštění Rýzmburku v letech 1408–1416 hrad Přimdu, ale protože zde poskytli azyl příbuzným vyhlášeným za zemské škůdce, po obležení museli hrad vydat Čeňkovi z Vartemberka. Tím jejich rod z dějin prakticky mizí. V roce 1434 u Lipan bojoval jakýsi Boreš z Rýzmburka na straně panstva jako pěší (nemohl vydržovat koně). V roce 1440 se jméno objevuje při volbě Ladislava Pohrobka. Poslední zmínka o rodu je z roku 1523, kdy jeho členové obývali Bezděkov u Žatce. Hrad se rozkládá na protáhlém vrchu v přibližně severojižním směru. Byl 250 metrů dlouhý a v nejširším místě 95 metrů široký. Přístup do něho byl z jihu přes příkop k první bráně. Tato brána s hradbou kolem prvního nádvoří by mohla být mladšího původu, než vlastní hrad (14. století). První nádvoří patrně nebylo zastavěné, jeho opevnění mělo zřejmě pouze oddálit styk s případným nepřítelem. Mohly zde být postaveny praky s možností snadno krýt palbou přístupovou cestu. Po průchodu prvním nádvořím pokračuje cesta severním směrem na druhé nádvoří, při jehož jižní hradbě, která obě nádvoří oddělovala, a která byla zároveň součástí vnějšího opevnění obíhající celý hrad, stojí osamocený bergfrit, který býval 30 metrů vysoký a měl zdi 3,5 metru silné. Vstup do něho byl v úrovni patra. Zmíněná vnější hradba bývala (stejně jako hradba obíhající první nádvoří) bez ochozu a cimbuří, její obranu zajišťoval systém jakýchsi nástaveb v pravidelných intervalech. Není vyloučeno, že i tato vnější hradba je pozdějšího původu. Dále severním směrem při západní straně hradu je zvenku k vnější hradbě přizděno na spáru původně patrně třípodlažní stavení, celým obvodem vystupující z půdorysu hradu. Pochází pravděpodobně z 15. století, býval zde snad sklad obilí, stáje i obytné místnosti pro čeleď (či pivovar). Po pravé ruce se na skále tyčí horní hrad obehnaný samostatnou hradbou původně s cimbuřím a rozdělený na dvě části – trojúhelné hradní jádro na nejvyšším místě chráněné další hradbou, která v této části hradu tvoří s hradbou horního hradu parkán a níže položené třetí nádvoří lichoběžníkového tvaru. Do horního hradu vedla cesta od druhého nádvoří při východní straně hradu, kde byla brána do třetího nádvoří. To obsahovalo vlevo od vstupní brány jediné, zřejmě hospodářské stavení. Po pravé straně je branka s dochovaným lomeným obloukem, vlevo na ní navazuje vstup do jádra horního hradu. Vstup byl chráněný okrouhlou věží a spolu s ní tvoří jeden (jihovýchodní) vrchol trojúhelného jádra. Jihozápadní vrchol tvoří čtvercová věž s klenutým interiérem, k níž na jižní straně přiléhala kolem roku 1300 dokončená klenutá kaple (patrný zbytek klenby) s polygonálním závěrem a při boční hradbě nevelký obytný palác postavený zřejmě Borešem po polovině 13. století. Před palácem snad bývala nádrž na vodu. Severní vrchol trojúhelníka zabírá lichoběžníkovitý plochostropý donjon, který míval minimálně 3 patra. Na západní straně donjonu jsou ve dvou patrech nad sebou dochovaná okna s gotickým ostěním. První část výstavby řadí hrad k typu s obvodovou zástavbou, avšak další stavební vývoj hradu není uspokojivým způsobem určen, je však pravděpodobné, že do něho významně zasáhl jak král, tak i šlechtičtí majitelé. V současné době je celá plocha hradu porostlá lesem..