
Zřícenina hradu se nachází mezi skalami na kopci nad Novým Jimramovem, asi 12 kilometrů od Nového Města na Moravě. Můžete se k ní dostat z Jimramova, kratší cestou po silnici směrem na Sněžné nebo delší cestou po červené či modré turistické značce, přičemž modrá značka vede okolo skály zvané Prosička, ze které je pěkný výhled do okolního kraje. Pokud půjdete po silnici, tak v Novém Jimramově narazíte na již zmíněnou červenou značku a budete po ní pokračovat po silnici až na konec dědiny, kde za mostem přes řeku odbočíte doleva (pořád po červené značce) do kopce. Po zdolání kopce se před vámi objeví skalka a za ní na další skále již uvidíte zbytek oválné věže. Značka vás povede okolo věže až do soutěsky, na jejímž konci je zeď s malou brankou. Až jí projdete, dostanete se na nádvoří vlastního paláce. Pokud půjdete po modré značce, dostanete se do paláce z druhé strany po pěšině, vedoucí mezi skalami okolo zbytku hranolové věže.
Z hradu se zachovaly zbytky obvodových zdí vyzděných mezi skalami, torzo hranolové a oválné věže. V okolí jsou patrné zbytky valů. V hradním jádře probíhá v současné době (r. 2003) archeologický průzkum a jsou postupně odkrývány základy zdí paláce.
Ve skalách je několik převisů vhodných k přenocování a také pár puklinových jeskyněk. Je zde i několik horolezeckých cest.
V r. 1588 prodali Maxmilián a Jan z Pernštejna Jimramov Pavlu Katharýnovi z Katharu, který si zvolil Jimramov za své sídlo. Přestože dosavadní tvrz byla ve špatném stavu, neobnovil ji, ale přebudoval v hospodářský dvůr; ten byl pak několikrát upravován a dnes je součástí státního statku..
Po jeho smrti, po r. 1415, nastaly o hrad spory, neboť v r. 1420 žalovala jeho dcera Žofka, provdaná za Jana Tovačovského z Cimburka, Kunu z Kunštátu z lysické větve, že se neprávem zmocnil hradu Skály a že jej nechce vrátit, ačkoli byla zákonnou dědičkou. Po dlouhých sporech nakonec v r. 1447 Žofka hrad získala. V r. 1448 prodal Jan Tovačovský z Cimburka skalské zboží pernštejnskému purkrabímu Vaňkovi. Ten se přidal k loupežným tlupám, a proto byl jeho hrad Skály v r. 1456 pobořen; v r. 1588 se uvádí jako pustý. V té době drželi jimramovský statek, k němuž Skály náležely, Pernštejnové a počátkem 17. století Katharýnové z Katharu a později Dubští z Třebomyslic. Hrad nebyl již obnoven a dále pustl. Dnes z něho zůstaly jen zříceniny hradebních zdí, zbytky okrouhlé věže, nádvoří a zasypané hradní brány; průrvy mezi skalními útvary jsou dosud vyzděny..