
Rájec patřil původně k majetku olomouckého biskupství a připomíná se poprvé v roce 1141. Ve 13. století přešla asi polovina majetku do světských rukou. Asi i proto se v Rájci uvádějí dvě středověká sídla. Horní hrad se uvádí při jeho prodeji Heřmanem a Všeborem z Rájce Buňkovi z Mostišť, a to v roce 1376. Ten se na něm na deset let usadil. Z formulace při prodeji vyplývá jednak úroveň sídla (horní hrad) a jednak i nepochybná existence dolního hradu naproti dvoru.
V roce 1386 koupil horní hrad Ješek Puška, v roce 1412 jej držel jeho syn Heralt. V tomto roce se už uvádí jako pustý. K jeho poničení muselo tedy dojít ve válkách mezi markrabaty. Jako pustý se hrad uvádí ještě v roce 1464, kdy jej Vilém z Miličína postoupil Bohuši a Petrovi z Drnovic.
Hrad se nacházel na návrší zvaném Hradisko na severním okraji města. Pravděpodobně na jeho místě dnes stojí kamenný kříž.