
Už ve starších dobách existovala v Horšicích tvrz, která se nacházela jihovýchodně od poplužního dvora, kde se po ní do nedávné doby dochovaly nevýrazné terénní zbytky. Mladší tvrz vznikla zřejmě již v 15. století a je spojována s dosud stojící budovou rozměrné sýpky ve východní části poplužního dvora. Jde o dvoupatrovou obdélnou budovu o rozměrech cca 14x21 m krytou mansardovou střechou, V nárožích a středech stran její zdivo zesilují mohutné opěráky. Nic však nenasvědčuje tomu, že by mohla být starší, než z 18. století.
V roce 1623 byli Jan a Hynek Horšičtí pro účast ve stavovském povstání odsouzeni ke ztrátě poloviny majetku, který jim poté byl dán v léno. Roku 1676 byl poslední z rodu Jiří Antonín Horšický z Horšic ve finanční tísni nucen prodat rodové zboží Adamovi Františkovi Henigarovi ze Seeberka. Za něj byly Horšice spojeny s Příchovicemi a sídlo, které tak ztratilo rezidenční funkci začalo postupně chátrat..