
V příhodné poloze poblíž brodu přes řeku Moravu, kudy procházela hlavní obchodní cesta směřující dále na severovýchod do Krakovska, nad jejím levým břehem na mírném návrší se nacházelo opevněné sídlo prozatím neznámé podoby a rozsahu. Zřejmě plnilo funkci mýtní stanice a pevnosti chránící říční brod. Lokalita byla osídlena již v pravěku, ale významnější postavení zastávala v rámci olomoucké sídelní aglomerace v 10. století a 1. polovině 11. století. Během 2. poloviny 11. století toto místo sloužilo jako pohřebiště. V roce 1077 (oficiálně 3. února roku 1078) byl založen benediktínský klášter, který dnes zřejmě zaujímá celý prostor hradiště. Podle některých zdrojů jsou někde kolem bývalého kláštera ještě patrné zbytku valů.
Vydal se tedy se svou družinou ke klášteru, kde požádal o přístřeší. Poté vyčkal na vhodnou příležitost, když šla Jitka na bohoslužbu, přiskočil k ní, nasedl na koně, řetěz uzavírající klášterní bránu překonal jediným úderem meče a Jitku odvezl na olomoucký hrad (lépe řečeno hradiště), kde se s ni nechal oddat. Poté pro ni měl, kolem r. 1030, na protějším břehu řeky Moravy, na místě dnešního Klášterního Hradiska, vybudovat malý hrádek (hradiště) jako její letní sídlo. Většina výše uvedených událostí je historicky přímo či nepřímo doložena. Neuvádí se sice přesné místo, kam měl Břetislav Jitku na Moravu odvést, ale je velmi pravděpodobné že právě do mocenského centra Moravy, Olomouce. Vybudování nějakého sídla Břetislavem v místě Klášterního Hradiska však prozatím nic nenasvědčuje a jedná se tedy pouze o pověst.