
Rozafa mělo být původně město Skadar s královským palácem, které v pozdějších dobách sloužilo jako citadela chránící město Skadar, jež bylo mezitím přesunuto pod horu. Albánsky se pevnost nazývá Kalaja e Rozafës, což v překladu znamená hrad Rozafa, nebo jen zkráceně Rozafa. Podle pověsti získal hrad své jméno po obětované ženě nejmladšího z jeho zakladatelů. Dnes je Rozafa zřícenina hradu a opevnění areálu původního města Skadaru. Rozkládá se na strmé skále nad soutokem řek Drini, Buna a Kir jižně od nového města Skadar, čtvrtého největšího města v Albánii. Celková rozloha pevnosti je 9 hektarů. Většina staveb jsou již dnes rozvaliny. Nejstarší část hradeb pochází z období vlády královny Ardieanů, kteří si ve 3. století př. n. l. založili ve Skadaru hlavní město. V areálu se nachází malé muzeum, folklórní restaurace, zřícenina kostela a minaretu, z něhož je nejhezčí výhled na město. Vstup je zpoplatněn.
na území severní Albánie sídlily ilyrské kmeny, zejména významný kmen Ardieanů, který si na vrcholu hory založil své hlavní město. Roku 229 př. n. l., za vlády královny Teury (z tohoto období pochází nejstarší část hradeb), došlo k lodní potyčce. Poté se královna dostala do války s Římany, jež vyústila v podřízení Ilyrů Římu. V roce 167 př. n. l. zde již existovalo římské město. Ve 4. století město s hradem patřilo pod Byzantskou říši. V té době zde vzniklo biskupství a bylo také zesíleno opevnění. Mezi lety 1043-1360 patřilo celé město Srbům, později Benátské republice. V letech 1392-1396 město ovládali Turci. Poté jej Benátčané dobili nazpět. V roce 1479 město ovládla Osmanská říše. Až do druhé poloviny 17. století byl hrad obydlený. V 19. stol přesídlila místní správa dolů pod pevnost. Osvobození od cizí nadvlády přišlo až v roce 1913, rok po vzniku samostatné Albánie. Za 1. světové války bylo obsazeno vojsky Černé Hory a Srbska a za 2. světové války Italy.
Zdi, které přes den postavili, se každý večer zhroutily. Starý poustevník jim poradil, aby navždy uvěznili do zdi ženu jednoho z nich. Bratři se dohodli, že zazdí ženu, která na druhý den přijde na staveniště jako první. Dohodli se také, že nikdo jim nesmí nic říct. Dva starší bratři slib porušili a své manželky varovali. Takže jako první přišla žena nejmladšího jménem Rozafa. Ta požádala, ať alespoň jedno z jejích ňader, jedna paže a noha zůstanou nezazděny, aby mohla kojit, hladit a nohou houpat v kolébce své dítě. Na její počest byl hrad nazván Rozafa..