
Ves je poprvé doložena v r. 1339. Z r. 1480 pochází první a zároveň poslední písemná zmínka o tvrzi. Po roce 1497 tvrz zpustla a beze stop zanikla. Připomíná ji jen malé návrší zastavěné bytovou výstavbou.
Při semínském dvoře byla koncem 16. stol. vybudována renesanční budova, která sloužila správě semínského dvora, náležející pardubickému komornímu panství. Po r. 1691 došlo k přestavbě a rozšíření původní budovy v barokním slohu. Od té doby byla označována jako zámek. Jako sídlo správy dvora sloužil zámek až do r. 1780, kdy byl dvůr rozparcelován. Do r. 1855 sloužil administrativním potřebám místního pivovaru. V druhé pol. 19.stol. byl zámek změněn v prostou obytnou budovu a tomuto účelu slouží dodnes.
Zámeček stojí uprostřed obce. Jedná se o architektonicky nevýraznou jednopatrovou dvoukřídlou budovu krytou polovalbovou střechou. Na hřebeni je umístěna polygonální věžička. Budova veřejnosti nepřístupná.
V následujících dobách připomíná se několikrát (1395-1404) Jan Sirotek ze Semína, jenž seděl na blízké Žehouni; týž by se však sotva srovnati mohl s Janem nížepsaným. Současně totiž seděla na Semíně Anna ze Slatinek jinak z Rychnova, a sice roku 1398-1402 sama, r. 1402 však se synem svým Janem ze Slatiny, který se před tím z Valečova psal a do r. 1414 příjmí Bartoš míval. 4) Bylť rod tento rozšířen po Hradecku i Boleslavsku a vládl kolikerým menším zbožím. V následujících dobách seděl na Semíně rod Hanykéřův, kteří se ze Semína nad Labem psávali; k rodu tomuto náležel Jan ze Semína (1505), jenž tvrze Nebovid dosáhl. Tu potomci jeho r. 1601 vymřeli. V ty časy již byla rodná jejich tvrz spustla a přešla v držení cizích rodův. Asi r. 1480 držel ji Jan Kapoun ze Smiřic, jenž ji dceři své Anně postoupil. Od této koupiv zboží to Jan Zdechovský ze Sekyřic, prodal r. 1497 (vkl. 7. října) Semín nad Labem tvrz pustou, ves celou, v Kladerubkách dvůr km. pustý s dědinami, s Labem, jezerem atd. Vilémovi z Pernšteina za 300 ss. gr. č. Od těch dob náleželo tvrziště se vsí k panství Pardubskému.