
Tvrz stojí v severním okraji města a je součástí jižního křídla bývalého poplužního dvora. Je to obdélná patrová budova o rozměrech asi 23 x 12 m. Střední část je dvoupatrová. Celá budova je krytá valbovými střechami. K jižnímu průčelí přiléhá do úrovně prvního patra přístavek s hrázděnou horní částí. Západní průčelí je zpevněno mohutnými opěráky.
Jeho rodu patřil do roku 1394, kdy jej koupili Frankengrünerové. V letech 1439 až 1521 zde sídlili Gumerauerové. Od nich Skalnou koupili Šlikové, kteří statek prodali Volfu z Wirspergu. Za něj byl statek roku 1541 rozdělen na dvě části, Horní a Dolní Vildštejn. Majitelé Dolního Vildštejna sídlili na hradě, majitelé Horního Vildštejna si severovýchodně od tehdejšího městečka vybudovali nový poplužní dvůr s tvrzí v jižním křídle. V roce 1596 oba statky získali Trautenbergové, v letech 1799 až 1884 je vlastnily Wilhelmové z Helmfeldu, a poté je Alfréd s Karlem Wilhelmem prodali Engelhartovi z Wolkensteinu-Trostburgu. Koncem první světové války panství koupil továrník Geipel z nedaleké Plesné, jeho rodině pak patřilo do roku 1945. V r. 1905 získala Skalná status města..