
Pozůstatky rozlehlého dvojdílného hradu na výšině přibližně 2,5 km jihozápadně nad městem Zvolen. Starší částí je výše položený tzv. horní hrad (571 m n. m), mladší pak o 400 m severovýchodně položený dolní hrad (478 m n. m.). Nejstarší částí horního hradu je zřícenina velké hranolové obytné věže (10,8 x 11,7 m) z konce 12. století. Po tatarském vpádu v roce 1241 byl do té doby lehce opevněný areál obehnán kamennou hradbu (2,8 m silné), která vymezila plochu horního hradu na úctyhodných 3,6 ha. Hradba přibližně kopírovala průběh staršího v jádře pravěkého valu. Do hradu se vstupovalo na jihu kulisovou branou. V té samé době bylo přistoupeno ke stavbě druhé hranolové věže (11 x 11,2 m) na severním vrcholku areálu. Této druhé věži, dokončené r. 1255, se říká Pertoldova. Plochu hradu krom obou věží jistě pokrývala nedochovaná dřevěná zástavba. Před koncem 13. století byl příčnou lomenou hradbou, posílenou hranolovitou baštou či věží u branky, vydělen z plochy areálu severní díl. Ten byl využit pro výstavbu tzv. Dončova hradu – palácového hradního komplexu z počátku 14. století. Ve východní části tohoto dílu byl soustředěn palác a související budovy včetně cisterny a branské vstupní věže. V souvislosti s touto stavební činností byly pro obranu hradu upraveny i obě starší obytné věže (donjony), z nichž minimálně ta starší byla zpevněna obezdívkou a zvýšena.
Dolní hrad je o poznání skromnější a jeho do oválu tvarovanou kamennou hradbu (osy 210 a 60 m) na západě směrem k hornímu hradu ukončovala nakoso postavená hranolová budova věžovitého paláce (21 x 24 m). Oba hrady spojovala uměle vynášená komunikace na koruně zděného tarasu, možná zdi.
Oba komplexy začaly upadat po zahájení výstavby hradu v centru Zvolenu, přesto byly minimálně do pol. 15. století oba udržovány.
Dlouholetý archeologický výzkum Václava Hanuliaka na horním hradě (léta 1992–2008) jednoznačně dokázal existenci staršího pravěkého kamenohlinitého valu, na němž byla postavena středověká hradba. V zásypu valu se nacházel střepový materiál převážně z pozdní doby bronzové. Kromě nálezů lužické kultury se zde našly i střepy kyjatické kultury. Strategické postavení kopce bylo využito i v pozdní době kamenné, svědčí o tom nálezy bádenské kultury. Protohistorické osídlení dokládají spony a keramika z doby laténské. Na severozápadním svahu horního Pustého hradu se v roce 1944 našel poklad předmětů z doby bronzové. Byl uložen pod asi 8 metrů vysokou skálou. Samotný nález má však i svou novodobou historii. Po nalezení partyzány v roce 1944 byl pravděpodobně rozdělen na několik částí. Zatím poslední část tohoto depotu byla objevena v roce 2001. První sezóna výzkumu na dolním hradě v roce 2009 prokázala existenci staršího pravěkého valu pod západní linií jeho středověkého opevnění. Původně měl kamenohlinitou konstrukci a v jeho zásypu se nachází keramika výhradně z pozdní doby kamenné. Na nádvoří dolního hradu jsou potvrzeny nálezy také z mladší a pozdní doby bronzové. Nejstarší středověkou stavbou na Pustém hradě je věž královského komitátního hradu z 12. století. Spolu s příslušejícím opevněním se nachází na nejvyšším místě hradního kopce – na kótě 571 m n. m. Nejstarší zprávu o Zvolenském (poušť) hradě obsahuje pramen zvaný Gesta Hungarorum (Činy Maďarů), napsaný na počátku 13. stol. Po tatarském vpádu vzniká na Pustém hradě velké opevněné refugium. Jeho výstavbu organizoval kamenický mistr Bertold. V roce 1255 mu panovník Belo IV. za práce provedené na královských hradech daroval majetek, který vyňal zpod královského hradu Zvolen (castro nostro de Zolum). Je pravděpodobné, že v tomto období vzniká opevnění na horním (3,5 ha) i dolním hradě (0,65 ha) a byla vybudována i obranná zeď v sedle pod dolním hradem (dlouhá 206 metrů). Z tohoto období pochází věž č. 2 na horním hradě a je velmi pravděpodobné, že i donjon dolního hradu. Ten se s půdorysem 20 x 20 metrů řadí mezi největší stavby residenčního typu ve střední Evropě. Spolu s hlavní vstupní branou horního hradu je zároveň nejzachovalejší stavbou na Pustém hradě. Gotickou stavební etapu datujeme do závěru 13. století až do první třetiny 14. století. K vstupní bráně horního hradu byla tehdy přistavěna čtyřpodlažní věž. Severovýchodně od obytné věže č. 2 byla vybudována obranná bašta a k ní příslušející příčná hradba. Takto vzniklo předhradí při vybudování dalšího hradu jako samostatné obranné a obytné jednotky v rámci horní polohy Pustého hradu. Župní hrad z konce 13. století byl vestavěný do jeho severního cípu. Jeho výstavba souvisí s rodem Balašovců, se župany Demeterovci a donci. Proto se tato část pracovně nazývá Donco hrad. Disponuje samostatným opevněním, palácem, predpalácovým objektem, cisternou a celé nádvoří bylo upraveno pomocí teras. Tyto terasy využili v první polovině 15. stol. jiskrovské vojska, když si na nich vybudovali přízemní obytné objekty. Zánik hradu Zvolen datujeme do poloviny 15. století, do období válečných střetů mezi Janem Hunyadim a Janem Jiskrou z Brandýsa. Písemné prameny z roku 1451 uvádějí, že Starý Zvolen vypálil Ján Hunyadi. Poslední stavbou vybudovanou na Pustém hradě byla Vartovka postavena v posledním desetiletí 16. století..
Kdo se jednou podíval do jeho strašných očí, už se nikdy tohoto pohledu nezbavil a i ve snech se mu objevovaly. Před Zuzorem se každý třásl strachy a i nejodvážnější rybáři utekli z blízkosti hradu do daleké obce Rybáry. Když se hradní pán tuto zprávu dozvěděl, příšerně zaklel a nenávistným pohledem se zadíval na drobné chaloupky, ve kterých ještě nedávno kypěl veselý rybářský život. - Co má toto znamenat? vykřikl pozoruje chaloupky a zaclonil si rukou oči, aby lépe viděl. A uviděl, že se z jednoho komína ještě kouří. - Tam bydlí starý a odvážný rybář, odpověděl hradnímu pánovi jeho sluha. - A on se nebojí?
- Ne, on se nikoho nebojí a kouká stále do slunce, ani oka nepřihmouří. - Na toho jsem tedy zvědavý! Jdi mi osedlat koně, pojedu k tomu starcovi. Za nedlouho Zuzorův kůň už přebrodil Slatinu a divokým cvalem letěl se svým pánem k rybářově chalupě. Stařeček seděl před svojí chalupou a díval se do slunce, a ani nepřihmouřil oči. - A jak to, že se mě starče nebojíš?! - vykřikl Zuzor a skočil z koně před starce. - Ne proč, bojím se jen zlých lidí, - odpověděl stařec, hledě stále do slunce. - A víš, že tvůj život je v mých rukách a víš, že tě mohu dát rozsekat kdykoliv na sto kusů?
- Vím a přece se tě nebojím! - odpověděl stařec hrdě a sebevědomě. Hněv se v hradním pánovi tak umocnil, ale starcova smělost se mu začala líbit. Chvíli stál nerozhodně jako by chtěl ještě něco říci, ale před chalupou se najednou objevila rybářova dcera, která upoutala jeho pozornost. Byla to krasavice .... rozepsáno .....