
První zprávy o pánech ze Šumvaldu se objevují v listinách z roku 1287, kdy se zmiňuje Oneš z Čistého Slemene, jenž je považován za zakladatele rodu pánů ze Šumvaldu. Jeho šlechtický přídomek (z Čistého Slemene) se totiž později stal základem „německého názvu“ Šumvald, tedy názvu celé vsi. Jelikož přídavek "čistý" bylo dříve synonymem dnešního adjektiva "krásný" (německy schön) a přídomek "slémě" (slemeno) označoval ve staroslovanštině střešní trám ve hřbetu, v přeneseném významu hřbet nebo též zalesněný kopec, lze z toho odvodit dnešním význam, tedy Oneš z Krásného Lesa. To potvrzuje i skutečnost, že v 13. století, kdy se valila Moravou první vlna německé kolonizace, se Oneš podepisuje také jako Oneš ze Schönwaldu. Vladykové ze Šumvaldu, kteří ves vlastnili někdy do roku 1437, si zde pravděpodobně vystavěli také tvrz. Ta se prvně uvádí v roce 1464, kdy ji Jan starší a Hynek ze Zvole zapsali do zemských desek svému bratrovi Zbyňkovi. Za česko-uherských válek pravděpodobně zpustla, protože v roce 1492 se zmiňuje pouze tvrziště. Později byla opět obnovena, neboť v zápisu z roku 1561, kdy Lidmila z Miličína přijala jako spolumajitele Šumvaldu Jana Štolbašského z Doloplaz, se uvádí dvůr a tvrz. V roce 1567 koupil část vesnice s tvrzí Albrecht Černohorský z Bojkovic a spojil ji s Úsovem. Tím zdejší tvrz ztratila funkci šlechtického sídla a zřejmě brzy zanikla. Stavební materiál z tvrziště byl následně druhotně použit v 17. století při výstavbě mohutné věže kostela sv. Mikuláše.
Tvrz stávala nedaleko výše zmíněného kostela na Panenském vrchu (Dvorském kopci) v trati dodnes příznačně zvané "Tvrzisko". Na indikační skice z r. 1834 je kopec označen jako, zřejmě ještě, velmi výrazný. Kostel i tvrz byly obehnány příkopem a náspem. Zatímco z tvrze nezůstalo nic, kostel zde stojí dodnes.
Z tvrze snad může pocházet románská hlavice sloupu a záhadný pískovcový kámen, na němž byl ještě v 60. letech 20. století zřetelný rodový erb se lvem. Oba pozůstatky jsou zazděny v kostelní věži..