
Roku 1382 je v pramenech připomínán Petr Kvasa z Olešné, další zmínka o Olešné pochází až z počátku 16. století, kdy patřila Anně z Chotětic a po ní jejímu bratru Ondřeji Sloupovi. Ondřejův syn Petr a jeho pět sester si roku 1548 nechali do obnovovaných zemských desek zapsat již jen „zámek pustý a dvůr poplužní“. O tři roky později prodal Petr Olešnou Kryštofovi Skuhrovskému ze Skuhrova, který ji již natrvalo připojil k vlašimskému panství.
Tvrz či hrad (klasifikace není v literatuře jednotná) vznikla zřejmě ve druhé polovině 14. století. Sídlo mělo pravidelnou dispozici ve tvaru obdélníka cca 38 x 51 metrů. K obvodovému ohrazení se na jihu přikládala rozměrná trojprostorová budova s dosud patrnými základy zdiva – zřejmě vlastní panské sídlo. Další budovy patřily zřejmě k hospodářským stavbám poplužního dvora – jasně patrná je z nich pouze menší budova vybíhající ven z ohrazení poblíž středu východní strany, ostatní jsou dochovány pouze ve formě valovitých útvarů jen mírně vystupujících nad povrch.
Tvrziště bylo r. 2022 poškozeno těžkou technikou při těžbě dřeva.