Jitkovská tvrz byla kamenná obdélná stavba o rozměrech 8,5x26,5 m. Její zboření roku 1830 přečkaly sklepy, z nichž poslední dochovaný původně pod západním dílem stavby je valeně klenutá obdélná místnost o rozměrech cca 8x4 m.
Jan později Jitkov prodal, snad Adamu Názovi z Chřenovic, proti kterému se v letech 1581-1588 dvakrát postavili jeho jitkovští poddaní. Roku 1593 prodal Adam Náz Jitkov s dalším majetkem Pavlovi Mitrovskému z Nemyšle (†1605). Adamův syn Jiří st. se (ač evangelík) nezapojil do stavovského povstání, a proto se mu pobělohorské konfiskace vyhnuly. S Janovou dcerou Eliškou přešlo roku 1638 na Viléma Boryně ze Lhoty, který Jitkov připojil k vilémovskému panství. Jejich mladší syn Maxmilián František zemřel bez dědiců roku 1676 a stavovská komise prodala Jitkov Marii Magdaleně Dobřenské ze Lhoty, ta jej obratem roku 1678 prodala Janovi Ctiborovi Jeníkovi Zásadskému z Gamsendorfu, který ještě na tvrzi sídlil. Od něj koupil Jitkov roku 1693 Ferdinand kníže z Dietrichsteina, který jej připojil k pohledskému panství. Tvrz tak definitivně ztratila rezidenční funkci a nejspíš byla přestavěna na sýpku. Podle popisu z roku 1807 byla již značně zchátralá a roku 1830 byla zbořena..