
K nejstarší fázi hradu patři spodní část volně stojící okrouhlé věže o průměru 9 m. Snad z té doby pochází i nároží blíže neznámé budovy odhalené v prostoru mladšího předbrání. Snad již tehdy byla do skály ve východní části hradu vylámána studna. Předpokládaná další zástavba hradu byla z větší části dřevěná, i opevnění tvořil zřejmě jen zemní val s výdřevou, jižně od jádra se začalo rodit i opevněné předbrání.
V průběhu 15. století bylo kolem věže na přibližně obdélném půdorysu postaveno již zděné jádro, vzniklo východní křídlo a minimálně jižní část západního křídla. Coby biskupská rezidence byly jejich interiéry vybaveny odpovídajícím přepychem, chybět nemohla ani dosud nelokalizovaná kaple. V reakci na husitské nebezpečí od jihu bylo posilováno i opevnění. Dosud volně stojící předbrání bylo hradbou připojeno k jádru, Věž byla zvýšena a v horních partiích vybavena dvěma unikátními komorami pro děla s charakteristickými střílnami, které ovládaly přístup od jihu. Ve druhé polovině bylo k jádru od jihovýchodu připojeno rozlehlé předhradí s hospodářskými budovami.
V průběhu 16. století byla značná část interiéru přestavěna na vězeňské cely doposud dochované v severním křídle. Severní čelo hradu zesílily dvě čtverhranné bašty mající pod kontrolou poslední část přístupové cesty ke hradu. Přestavba po požáru roku 1629 se soustředila především na nejvíce zničené předhradí, obytné budovy jádra byly v poměrně zanedbaném stavu. Oopraveny byly hradby a jejich severovýchodní nároží zesílil nevelký bastion.
V 18.století bylo pro potřeby nápravného ústavu upraveno celé jádro především v úrovni prvního patra, druhé patro zůstávalo pro potřeby eventuelních návštěv biskupů, ve střední část západního křídla vznikla kaple založená r. 1754.
Na přelomu 13. a 14. století postavil biskup Jan Muskata či jeho předchůdce nový hrad nazvaný Lipowiec jako opěrný bod přemyslovské strany, které byl biskup hlavním přívržencem v boji proti Vladislavu Lokýtkovi. V průběhu 14. století byl hrad plnící funkci administrativního centra významně posílen a důkladně opevněn. Přestavby pokračovaly i v první polovině 15. století, o čemž svědčí erby tehdejších biskupů dnes druhotně osazené do východní fasády nádvoří. Tou dobou (první zmínka r. 1437) začal hrad plnit i další funkci biskupského vězení především pro provinilé kněze. Klíčovou roli pohraniční pevnosti sehrál Lipowiec i během husitských válek. V 16. století vystoupila do popředí vězeňská úloha hradu, v nově vystavěných celách nedobrovolně pobývali četní význační humanisté a reformátoři. Stabilní vláda posledních Jagellonců nevyžadovala příliš velké investice do vylepšování ohrany hradu. Snad nejrušnějším obdobím v dějinách hradu bylo století sedmnácté. Nejprve jej značně poškodil požár roku 1629, opravený hrad poté roku 1655 obsadila švédská vojska, která jej při svém ústupu o dva roky později znovu zapálila. Vypálené sídlo již neodpovídající moderním požadavkům na bydlení ani na obranu zůstalo po 75 let v ruinách. Teprve roku 1732 si biskup Felix Szaniawsky rozpomněl na jednu z bývalých funkcí hradu a rozhodl jej opravit a umístit zde nápravný ústav pro kněze. Tím byl až do roku 1789, kdy jej po dělení Polska převzala do korunního majetku rakouská vláda. Budova převzatá brzo do soukromých rukou byla zanedbávána a poslední ranou se stal požár kolem roku 1800, po němž se hrad definitivně začal měnit ve zříceninu. Po druhé světová válce byl Lipowiec zařazen mezi kulturní památky a mezi roky 1961-75 zde proběhly konzervační práce provázené archeologickým průzkumem..