
Hrad stával v místech dnešního tzv. Kozího plácku (Kozinovo náměstí), při výkopech se již našly pouze zbytky základů. Z bývalého panského sídla pochází snad i některé sklepní prostory okolních domů.
Po r. 1281 měl Sviny jeho synovec Vok z Třeboně a po něm jeho synové Jaroslav, Sezema a Ojíř. Ten vstoupil do dominikánského kláštera v Ústí (Sezimově) a odkázal mu svůj díl ve Svinech, totiž třetinu hradu a městečka a ves Trutmaň, což pak klášter v r. 1327 prodal Vilémovi z Landštejna, který později získal podíly Ojířových bratrů Jaroslava (usadil se v Borovanech) a Sezemy. Po Vilémově smrti v r. 1356 připadly Sviny synům Ojířovi a Vítkovi. V r. 1359 prodal Vítek z Landšteja 2 díly městečka Svin s hradem a kaplí bratrům Petru, Joštu, Oldřichu a Janu z Rožmberka. Od té doby byly Sviny součástí novohradského panství. R. 1420 přitáhl od Třeboně k Trhovým Svinům Jan Žižka, hrad dobyl a obsadil. Asi před r. 1454 mohl se Oldřich z Rožmberka opět ujmout svinenského hradu. Byl však v tak špatné stavu, že bylo upuštěno od jeho obnovy. Také kaple sv. Jana Křtitele v předhradí (připomínaná v r. 1355) byla již zpustlá. Zdá se, že po r. 1480 byl hrad úplně rozbořen, kaple pak později po požáru v r. 1828 také zbořena. Hrad stával pravděpodobně nad tržištěm, v místech tzv. Kozího plácku, kde se občas při zemních pracích najdou zbytky jeho základů.