
Nejviditelnější částí hradu je románská hradní kaple, která byla připojena k baroknímu špitálu. Podle průzkumu, který byl proveden při její rekonstrukci, mívala kaple věž a tribunu. Taktéž se při průzkumu našly zbytky hradních zdí a bylo též zjištěno původní hradní zdivo v budově špitálu. T. Durdík uvažuje o královském založení hradu před polovinou 13. století, snad v souvislosti se zánikem prácheňského hradiště. Výstavná kaple by této teorii také odpovídala.
Půtovi se přičítá stavba hradu při městečku. Půtovi vnuci, Vilém a Oldřich, pak darovali v r. 1336 se souhlasem své matky Benedikty Velký Bor zderazskému klášteru v Praze. Klášter užíval borský statek až do husitských válek. V r. 1420 král Zikmund zastavil „křižovnickou“ ves Bor (o hradu nebyla zmínka) bratrům Janu a Vilému z Rýzmberka a v r. 1437 tuto zástavu potvrdil. Bor byl spojen s Rabím až do vymření borské větve pánů z Rýzmberka v r. 1481. Po r. 1519 připadl Velký Bor k blízkým Horažďovicům. Podle přání pozdější majitelky Velkého Boru (a Horažďovic), kněžny Marie Karolíny z Löwensteina, zapsaného v její závěti z r. 1765, byl z kamene hradní zříceniny vystavěn špitál s kaplí. Po jeho zrušení v r. 1788 byla budova přestavěna (1810) na školu. Škola zrušena r. 2001, upravena na obytný dům..