
Z Pustého zámku se nedochovaly žádné zbytky zdí, hrad byl pravděpodobně celý vybudován ze dřeva a hlíny. I když měl hrad ideální polohu pro pozorování okolí, přístupová cesta až tak výhodná nebyla. Byla položena o něco výše než samotný hrad, proto zejména z jižní a z jihozápadní strany musel být hrad chráněn širokým podkovovitým příkopem s plochým dnem. Nad příkopem vedla 2-2,2 m široká lavice, 1,5 až 2,5 m vysoko. Nevedlo tudy žádné přemostění z čehož lze usuzovat, že se nepočítalo s další aktivní obranou hradu.
Zatímco z rychlebských věží bylo vidět jako na dlani Račí údolí, též cestu na druhou stranu zakrývaly svahy a skalnaté srázy. Z Pustého zámku se dalo dohlédnout na oba přístupy k Rychlebům, především však na cestu až daleko do údolí, která se zde větvila k Žulové a přes Javorník k Pačkovu. Původní jméno hradu není známo. Byl postaven narychlo, nesmírně pracně, velkým množstvím pracovníků. Stal se pevností na zdolání sousedního rychlebského hradu. Nebyl zvolen ani zvlášť výhodný terén, ale tak, aby měl Rychleby na očích. Tak náročnou stavbu si mohl dovolit jen zeměpán nebo biskup. Na rychlebském hradě totiž sídlili loupežní Vusthubové, jež potřebovala biskupská moc sprovodit za každou cenu ze světa. Jistě se to dříve či později podařilo a jistě zásluhou Pustého zámku, který tu stovky nahnaných rukou z dědin v okolí vršily a stavěly z materiálu, který byl na místě - z hlíny, dřeva a kamene.