
Na homolovitém pahorku zarostlým statnými buky a duby stával gotický hrad, jež býval rodovým sídlem pánů z Vrtby. Hrad byl obýván až do roku 1555, poté uváděn jako pustý. Dochovaly se jen valy a příkopy. Prý nebyl ani za husitských válek dobyt.
V místě rozšíření valu je na jeho vnějším svahu patrná plošina. Zdivo je patrné v jihovýchodním nároží, na severu je patrný styk dvou zdiv vnitřní zástavby a základová spára vyrabované zdi. Bližší popis hradu nám současné znalosti o něm neumožňují..
Roku 1316 je zde vzpomínán Sezama z Vrtby a v letech 1484–1488 tu seděl Jan Habart ze Stochovic. Roku 1511 hrad patřil pánům z Rabštejna a po nich roku 1538 Sebastiánovi Markvartovi z Hrádku. Později přestal hrad plnit funkci centra panství, zpustl a roku 1659 je zde vzpomínán jen dvůr, jež byl zřejmě vystaven z kamene hradu..
Jiný jeho syn, Racek, založil hrad Bělou, Bušek vlastnil Krašov a Jetřich Krašovice. Sezema se poprvé píše po Vrtbě r. 1316 a stal se zakladatelem rodu pánů z Vrtby, který vymřel až r. 1830. Po Sezemovi patřil hrad jeho synovi a vnukovi stejného jména. Za husitských válek jej držel stoupenec katolické strany Jan Štěpánovec, který byl r. 1432 zvolen za člena poselství do Basileje, ale z neznámých důvodů se ho nezúčastnil. V r. 1462 seděl na hradě Janův bratr Hroznata a po něm další bratr, Sezema, který zemřel r. 1477. Všichni tři bratři byli sice katolíci, ale stoupenci krále Jiřího. Po Sezemovi držel Vrtbu Jan Habart ze Strochovic, podle erbu příbuzný Žákavců ze Žákavy. Byl pravděpodobně poručníkem Jana Hroznaty z Vrtby, který asi po r. 1500 prodal hrad Vrtbu Janovi z Rabštejna, jehož sestra Anna zde pak bydlela. V r. 1538 získal Vrtbu i s vesnicemi Lhotkou, Mosticemi a Hubenovem Šebestián Markvart z Hrádku na Nekmíři a v r. 1555, po získání hradu Bělé, je připojil k tomuto panství. Hrad Vrtba byl od poloviny 16. století neobydlen, zpustl a zanikl. V popisu bělského panství z r. 1659 se už neuvádí. V jeho blízkosti byl pouze dvůr Vrtba. Když bylo v r. 1848 zapotřebí zajistit pro zdejší dvůr pracovní síly, byla u něho založena ves Vrtba. Z hradu zbylo dnes jen vysoké strmé hradiště, na němž nejsou již žádné viditelné zbytky zdí. Hradiště je obehnáno vysokým kruhovým valem a hlubokým příkopem..
Okolo vysokého a strmého hradiště jde velmi hluboký příkop a okolo něho vysoký a strmý násep. Zakladatelé užili tak pahrbku přirozeného a vybranou zemí, kde bylo potřeba, naváželi. Příjezd byl od východní strany. Tu viděti, jak znenáhla vystupovala cesta k náspu a jak nad tou cestou, nežli ústila v násep, tento rozšířen byl v baštu ovální, aby se tu obránci v čas potřeby shromažďovati mohli. Po zdech není nikde památky. Synové Sezemy z Krašovic (1268-1284) asi v l. 1313-1315 se rozdělili. Sezema dostal za díl ten kus, na němž založil hrad Vrtbu, jestli již nebyl od otce založen, Bušek zůstal na Krašově, a Racek usadil se na Bělé. Čtvrtým, tuším, bratrem byl Jetřich, jenž měl Krašovice. Sezema slove poprvé r. 1316 z Vrtby a daroval r. 1344 plat v Chotíkově klášteru Plasskému, při čemž svědčili synové jeho Pešek a Sezema. O onom se často mluví v pamětech, poněvadž založil Petršpurk, drže r. 1356 Lubenec) a r. 1365 prodal hrad Kyjov klášteru Kladrubskému. Kromě toho držel Krašovice. O Sezemovi se skorem nic neví a vůbec nastalo okolo r. 1370 rozplození rodu tohoto takové, že jest nemožná věc vývod jeho řádně sestaviti. Tolik je jisto, že po jednom z obou bratří následoval syn Sezema, který asi r. 1402 zemřel. Jisto jest, že r. 1405 byl již mrtev, a Sezema, syn jeho, daroval r. 1405 faráři v Krašovicích lán polí a téhož ode mše, kterou povinen byl na hradě Vrtbě sloužiti, osvobodil. Tento Sezema připomíná se v různých pamětech, potomních až do r. 1416. Potomstvo jeho sedělo tu až do druhé polovice téhož století, zejména Hroznata, který r. 1462 vsi Břízy a Újezda nabyl. Papežský interdikt na něho na Vrtbě nezachováván. Nástupem jeho v l. 1484-1488 byl Jan Habart ze Strochovic. V l. 1525-1527 držela Anna z Rabšteina hrad Vrtbu a tuším poslední na ní bydlila; neboť nástupce její Jan z Rabšteina sídlíval jinde a prodal Vrtbu r. 1538 Šebestianovi Markvartovi z Hrádku. Tento držel Vrtbu napřed k Nekmíři a od r. 1555 k Bělé. Hrad za něho nadobro opuštěn a zkáze ponechán..