
Kostel je orientovanou zděnou jednolodní stavbou z lomového kamene, v jádru gotický (presbytář, portálek na jižní straně lodi), s odsazeným obdélným presbytářem s opěráky v nárožích, s hranolovitou věží v západním průčelí a s drobnou sakristií na severní straně. Roku 1888 byl kostel přestavbou rozšířen – loď byla prodloužena o 6 m, původní západní štít s gotickou růžicí byl zbourán a byla přistavěna pseudogotická věž.
Klenba presbytáře je z období kolem roku 1375. Presbytář, zvenčí pravoúhlé zakončený, je uvnitř zakončený šestiboce, sklenutý jedním polem křížové klenby a paprsčitě v závěru, na žebrech hruškového profilu, šikmé paprsky žeber vytvářejí v obou východních rozích trojúhelníková pole. Terčové svorníky zdobí reliéf hlavy Ježíše Krista a Ducha svatého v podobě holubice. Ve východní zdi je sanktuář (1,10 x 0,46 m) rámovaný ostěním hruškového profilu, rám přechází v štít zakončený křížem, s původní kovanou mřížkou.
Presbytář s lodí spojuje původně neokosený lomený vítězný oblouk. Do roku 1854 měla loď starý deskový strop, původně vymalovaný modře se zlatými hvězdami (později bílý). Strop byl r. 1854 snesen a nahrazen novým rákosovým. Toho roku byly při bílení kostela objeveny na stěnách i klenbách presbytáře nástěnné malby ze 14. století. Fresky zobrazují Zvěstování Panny Marie, Narození Páně s modlícími se pastýři a příchod Tří králů, sv. Jeronýma s knihou (zapisujícího zázrak vtělení syna Božího), seslání Ducha svatého (Duch sv. v podobě holubice se vznáší nad postavami dvanácti apoštolů), bičování Ježíše Krista, smrt Ježíše Krista na kříži, umučeného Ježíše Krista, Vzkříšení Páně a jeho Nanebevstoupení. Stěny jsou v dolní a horní části ozdobeny malovaným ozdobným byzantským pásem. Na klenbě je slunce, měsíc a hvězdy, v polích gotického sklenutí jsou vymalovány symboly čtyř evangelistů – anděl, lev, vůl a orel.
Původní dřevěná kruchta byla později nahrazena zděnou. V jižní stěně lodi je vysoký hrotitý portálek s ostěním profilovaným výžlabky a masivním hruškovým prutem. Uprostřed kostelní lodi je pod podlahou hrob, kde je prý pohřben rytíř Man, zakladatel nedaleké Manovy Lhoty. Z období středověku je gotická pískovcová křtitelnice zdobená po obvodu reliéfními lupeny.
Zařízení kostela je převážně pseudogotické. Interiér kostela byl upraven do současné podoby v l. 1893–1904 za faráře a akademického malíře P. Eduarda Neumanna, který navrhl podobu hlavního oltáře, namaloval 14 obrazů křížové cesty a navrhl pět velkých barevně zdobených oken a dvě malá (také financoval jejich výrobu).
Ve věži, postavené r. 1888 (a v malé vížce nad presbytářem) jsou zavěšeny zvony, které patří k nejstarším v Čechách:
velký (výška i průměr 0,83 m) s hladkým pláštěm (gotický nápis) z konce 15. století;
menší (výška 0,75 m, průměr 0,83 m) s renesančním nápisem a reliéfem Kalvárie, ucha s pletencem z roku 1538 (?);
dále zvon „Klášterník“, který sem měl být přivezen ze zrušeného kostela sv. Máří Magdalény (výška 0,59 m, průměr 0,61 m) hladký, u koruny zdobený gotickým nápisem z konce 14. nebo počátku 15. století;
zvon „Maria“ (výška 0,24 m, průměr 0,26 m) s hladkým pláštěm, zdobený gotickým nápisem, z 15. století;
sanktusník z roku 1890, který odlil J. Diepoldt v Praze.
Před kostelem je kamenný krucifix (2,5 m vysoký) z roku 1797.
Původně se kolem kostela rozkládal hřbitov. Po roce 1620 se kostel stal filiálním farnosti Svojanov. Není zcela jisté, od kdy je kostel zasvěcen sv. Erasmu, je pravděpodobné, že původně byl zasvěcen Panně Marii. Zasvěcení se snad změnilo r. 1722 (tímto rokem je datován obraz sv. Erasma). V Rohozné se dodnes slaví dvě poutě, jedna na svátek narození Panny Marie (8. září) a druhá na svátek sv. Erasma (2. června). Roku 1835 byl kostel opraven. Farním se stal opět roku 1875. R. 1855 byly při malování kostela objeveny fresky ze 14. století, které byly později zabíleny. Roku 1866 byla zbourána původní dřevěná, samostatně stojící zvonice. Roku 1888 byl kostel rozšířen přestavbou, byla prodloužena loď a k západnímu průčelí byla přistavěna hranolovitá věž se zvonicí (zavěšeny zvony z původní zvonice). Interiér kostela byl upraven do současné podoby v l. 1893–1904 za faráře a akademického malíře P. Eduarda Neumanna, který navrhl podobu hlavního oltáře, namaloval 14 obrazů křížové cesty a navrhl barevně zdobená okna. Z původní části kostela ze 14. století se zachoval presbytář s původní gotickou klenbou přibližně z roku 1375 a portálek na jižní straně lodi. R. 2008 zanikla zdejší samostatná farnost sloučením farností Rohozná, Stašov a Svojanov pod jednu farnost Svojanov..
O jeho životě toho není mnoho známo, o to více o něm ale existuje legend. Jeho příběh se začíná vypravovat v době, kdy byl biskupem v Antiochii (území dnešní Sýrie). Kvůli krutému pronásledování křesťanů za římského císaře Diokleciána odešel ze své diecéze a žil 7 let jako poustevník na vysoké hoře v Libanonu, kam mu podle legendy nosil jídlo havran. Poté, co jej vyzval anděl k návratu do Antiochie, se vydal na cestu. Dostal se do zajetí římských vojáků, anděl ho však prý osvobodil. Z dalšího uvěznění ho prý vysvobodil archanděl Michael, který ho dovedl až do italského města Formia, kde poté žil a působil. Nakonec byl však císařskými vojáky přece jen chycen a krutě mučen (vrážení šídel pod nehty, vytahování střev z břicha a jejich navíjení na naviják – často zobrazováno pro velikou krutost). Jeho kult se projevuje v 6. století, od r. 1300 patří ke 14 sv. pomocníkům. Legendy vypráví o různých zázracích spjatých se světcem, např. jak cestou do Itálie na moři utišil bouři, která hrozila potopit malou loď, na níž se plavil. Sv. Erasmus se na vlnami zmítané lodi s rozpaženýma rukama vroucně modlil, vlny se poté zázračně utišily a loď bezpečně doplula k cíli. Další legenda vypráví o modravých světýlkách na stěžni lodě, která prý byla znamením světcovy ochrany (oheň sv. Erasma nebo sv. Eliáše). Sv. Erasmus je patronem námořníků, provazníků, soustružníků, tkalců a domácích zvířat, bývá vzýván při bolestech břicha a porodních bolestech (také při kolikách zvířat, dobytčím moru). Je také patronem města Gaty, kam byly v 9. století převezeny jeho ostatky. Jeho atributy jsou anděl, havran, mitra a berla (bývá zobrazován při mučení nebo jako biskup), rumpál, šídla, střeva, plachetnice. Jeho svátek se slaví 2. června..
Zázračná záchrana vozky a jeho nákladu je připisována obrazu, a od těch dob se stal kostel s obrazem cílem mnoha poutníků..