
Průzkumem bylo zjištěno, že nejstarším objektem areálu je budova při vjezdu do dvora. Jedná se o patrové stavení obdélníkového půdorysu kryté valbovou střechou. Obvodové zdivo dosahuje síly až jeden metr. V severovýchodním nároží je přistavěna okrouhlá věž. Zřejmě se jedná o zbytky původního gotického objektu, který pravděpodobně založili již sedlečtí cisterciáci.
Obec Žáky byla založena okolo roku 1142. Tehdy patřila sedleckému klášteru u Kutné Hory. V držení kláštera je připomínána i v roce 1407 a v jeho vlastnictví byla až do roku 1540. První, starší tvrz, byla postavena asi koncem 14. století. Majitelé se pak rychle střídali. Koncem 16. století, kdy byli majiteli statku Žáky Trčkové z Lípy byla zřejmě v areálu dvora postavena další tvrz. Původní tvrz postupně začala ztrácet na svém významu. Byla využívána jako sídlo správce dvora a panských úředníků. Později byla přestavěna na byty. Posledním majitelem z řad šlechty byli žlebští Auersperkové. Za pozemkové reformy v letech 1923 a 1927 byly Žáky prodány městu Čáslav. Od roku 1948 se majitelem dvora a tedy i tvrze stala Střední zemědělská technická škola v Čáslavi. I v této době ale tvrz sloužila jako byty. V současnosti je stará tvrz v majetku obce Žáky a část ji stále ještě slouží jako byty.