Sídlem Voka IV. z Holštejna a Lipovce nebyla patrně tvrz, ale dvůr. Dle zápisu v Zemských deskách ZDB VIII. č 578 se uvádí doslova Lipovec se dvorem (Lypowecz cum Curia). O dvoru v Lipovci jsou další písemné zmínky v letech 1511, 1535 a 1550. Soudní listina, kde se Vok IV. uvádí s přídomkem "z Lipovce," je žaloba Bětky z Osové týkající se vypálení tvrzi v Petrovicích.
