
V r. 1253 se uvádí při žerotickém kostele sv. Martina fara a v r. 1259 se připomíná držitel zboží Cuzkraj ze Žerotic. Tvrz v obci koupil v r. 1358 Beneš z Vejtmíle spolu se dvorem. Beneš dosavadní tvrz rozšířil, takže se od té doby v pramenech nazývá hrad. Rod z Vejtmíle držel Žerotice celé 15. století a prodal je teprve v r. 1502.
V dalších stoletích se držitelé tvrze a zboží střídali; v r. 1512 je vlastnil Jindřich Lechvický ze Zástřizl, v r. 1554 Fridrich Březnický z Náchoda, v r. 1628 Jiří Ehrenreich ze Sinzendorfu. Za třicetileté války, v r. 1643, Švédové hrad dobyli a zničili; zůstaly z něho jen zříceniny, které byly ponechány svému osudu. Koncem 17. století získali Žerotice Blierové a v r. 1711 hrabě František Karel Berchtold z Uherčic, takže od té doby měly Žerotice stejnou vrchnost jako Želetice.
Do dnešní doby se z hradu zachovaly pouze zbytky hradního paláce, příkop a opevnění.