
Hrad měl s největší pravděpodobností dvoudílnou dispozici. Výše ležící část byla zdevastována při stavbě kaple. Níže ležící část – dolní hrad – měl půlkrohový obrys a patrný je pouze malý úsek obvodové hradby pod jádrem.
Po roce 2000 proběhl průzkum hradního areálu, který našel fragmenty středověkého zdiva. Z předhradí se dochoval fragment zdiva zřejmě obvodové hradby na jižní straně při styku s jádrem. V jádře zřejmě zůstala část obvodobé zdi pod severozápadním nárožím terasy před západním průčelím kostela, a také část tarasní zdi pod severovýchodní stranou kaple.
Za kterého panovníka a kdy byl vystavěn hrad, o tom není dokladů. Je pravděpodobné, že se tak stalo v druhé polovině 13. století, když chýnovský hrad, do té doby správní středisko kraje, byl převeden do majetku pražských biskupů. Vzniku a rozvoji městečka pod hradem napomáhaly zlaté a stříbrné doly v okolí. Vožice se poprvé připomíná v r. 1318, kdy se uvádějí Vilém a po něm Velislav z Vožice, nejspíše první ze zástavních držitelů hradu, kteří poskytli králi Janu Lucemburskému půjčku. Karel IV. zařadil (1353) Vožici mezi hrady, které neměly být napříště zastavovány. Proto vyplatil Vožici z držení Litolda z Landštejna, který byl jejím pánem od r. 1355. Za Václava IV. byla Vožice stále v zástavě. V l. 1390–1397 ji měl nevyšší purkrabí Pražského hradu Purkart Strnad z Janovic. Po jeho násilné smrti (zavražděn r. 1397 opavským vévodou Hanušem na Karlštejně) následoval Zikmund Huler z Orlíka, jenž byl pro nepoctivost ve svěřeném úřadu podkomořího r. 1405 popraven. R. 1412 zastavil král Vožici Anselmovi z Ronova a jeho synům. Zástavní držitelé na vožickém hradě většinou nebydleli, takže hrad býval namnoze jen sídlem purkrabích. Po vypuknutí husitské revoluce se držitelé hradu Vožice, Materna a jeho bratr Kryštof, postavili na stranu krále Zikmunda. Když pak po bitvě u Sudoměře (25. března 1420) Mikeš Divůček z Jemniště na ústupu obsadil se svou jízdou Vožici, tehdy ohrazenou jen plaňkami, Jan Žižka 5. dubna 1420 časně zrána městečko přepadl a zapálil. Po pětidenním obléhání dobyl i hrad a rovněž jej spálil. Materna však hrad opravil a podnikal z něho výpady do okolí. Proto v září 1425 husitské vojsko pod velením táborského hejtmana Jana Hvězdy z Vícemilic oblehlo vožický hrad. Po pětitýdenním marném očekávání pomoci od krále Zikmunda se Materna vzdal. Hejtman Hvězda, při obléhání smrtelně zraněný, většinu zajaté posádky propustil na svobodu. Před Vožicí pak byl (18. října) podepsán mír mezi stranou táborskou a sirotky na jedné a pražany a panskou jednotou na druhé straně. V r. 1426 husitská posádka hrad opustila, ten byl rozbořen a nikdy již nebyl obnoven. Na místě zříceného hradu dal r. 1646 tehdejší majitel vožického panství Kryštof Karel Voračický z Paběnic vystavět mariánskou kapli. Ke stavbě bylo použito kamene ze zříceniny hradu. Při přestavbě kaple r. 1827 a úpravě jejího okolí zmizely poslední stopy po někdejším pevném královském hradu, jehož zříceniny spatřil Bohuslav Balbín ještě v r. 1681..