
Malé zbytky mladšího sídla v Borovsku, tedy tvrze později upravené na zámeček, najdete hned vedle kostela sv. Petra a Pavla, který bohužel jako jediná ze zdejších velmi zajímavých památek přežil až do současnosti.
Za třicetileté války byla pravděpodobně vypálena Švédy, neboť je k roku 1654 popisována jako „při dvoře tvrz pustá bez oken a kamen“. Zanedlouho poté byla ale tvrz obnovena a nadále sloužila jako panské sídlo již spíše charakteru malého zámku. V druhé polovině 18. století byla budova částečně přestavěna na sýpku a původní sgrafitovou výzdobu fasád nahradila jednoduchá omítka. Definitivní zánik bývalé tvrze přinesla až 70. léta 20. století a výstavba Želivské přehrady, při níž byla památka i s budovami poplužního dvora a vsi zbořena, takže dnes najdete v blízkosti jediné přeživší stavby, kostela sv. Petra a Pavla, jen těžko patrné terénní relikty..