
Z části narušené lichoběžníkové tvrziště za domem č.p. 34. Nejvýrazněji dochovaná část tvrziště je v severní části. V severozápadní části chráněno dnes již zaniklým rybníkem, jehož hráz je dodnes patrná. Na jihovýchodě a severozápadě chráněno příkopem, na JV až tři metry hlubokým.
První zmínka o tvrzi je až z roku 1483, kdy po smrti posledního z rodu – Aleše Parduse z Lipovce – připadla ves a tvrz se čtyřmi vesnicemi jako odúmrť králi Vladislavovi II. Král panství postupuje nejvyššímu kancléři Janovi ze Šelmberka a Janovi Šmatlanovi z Močovic, ale na tvrzi dál bydlí vdova po Alešovi Pardusovi Anna z Výklek, což vedlo k dlouhým soudním sporům, které byly ukončeny v roce 1493 dohodou, podle které mohla Anna na tvrzi dožít. Anna umírá v roce 1494, tvrz je opuštěná a začíná chátrat. Na přelomu let 1494 a 1495 byl Lipovec prodán Mikulášovi Trčkovi z Lípy, který jej připojuje k panství Lichnice. V roce 1510 se uvádí tvrz v Lipovci jako pustá..