
Rozsáhlé území sahající od Žebráku přes Komárov hluboko do Brd náleželo již ve 12. století mocnému a politicky významnému rodu Buziců, od nichž odvozovali svůj původ i jeho pozdější držitelé, Zajícové z Valdeka. Již v Dalimilově kronice se k r. 1110 píše o Dětříškovi, synu Búzovu, který v tomto roce zahynul v bitvě proti Polákům. Letopis Vincenciův připomíná jednoho z jeho potomků, Jiříka (Jurika), který byl maršálkem knížete Vladislava II. a zahynul r. 1148 na křížové výpravě v Palestině. Na počátku 13. století žili Jiříkovi vnukové bratři Jan a Oldřich, od nichž lze již také sledovat přímou linii Zajíců z Valdeka. Oldřich Zajíc z Valdeka, připomínaný v letech 1209–1232, byl královským číšníkem. Měl dva syny, z nichž Zbislav se psal z Třebouně, kdežto Oldřich se psal Zajíc a od r. 1263 již také z Valdeka. O něm se dochovaly zprávy z let 1248–1271. Býval purkrabím na královském… číst dále
Na hradbách prý se tu zjevovala bílá paní. Bývalo ji vidět o půlnoci a v pravé poledne, a kdo prý jí přišel do cesty, na toho se vrhla. Hlídá ukrytý poklad, jehož částí je také zlatý stůl s dvanácti zlatými židlemi. Je to zjevení zámecké paní, kterou tu vedví roztrhli dva zločinní augustiniánští mniši. Podle jiných verzí se tato příhoda vztahuje k tzv. Studánce paní Lídy u kláštera sv. Dobrotivé. Říká se také, že poklad hlídá zakletá plačící panna chovající dětskou rakvičku. Zjevuje se jen v jistých dobách a určitým lidem. Zjevovala se tu také černá paní. K oběma přízrakům se váží pověsti o jejich možném vysvobození. Bílou paní mohl vysvobodit jen ryšavý kněz z kláštera sv. Dobrotivé.