
Zámek byl barokní, později pseudorenesančně upravený dvoupatrový objekt obdélníkového půdorysu s valbovou střechou s vikýři. Na straně do zahradního průčelí byl mělký rizalit s balkónem. Ze zámku se nic nedochovalo.
Od jeho synovce koupil Želeč před rokem 1486 Vít ze Rzavého. V roce 1507 ves koupil Mikuláš Španovský z Lisova a v roce 1550 ji koupili poručníci rožmberského panství. V roce 1565 získal Želeč Petr Vok z Rožmberka, který přestavěl želečskou tvrz na renesanční zámek. Zámek v roce 1596 koupil Adam ze Šternberka, ten ale na zámku nesídlil a když zámek v roce 1677 kupoval kníže Ferdinand z Lobkovic, byl zámek označen již jako pustý. Na jeho místě byl pak za Michnů z Vacínova v první polovině 18. století postaven nový barokní zámek. V roce 1870 ji sňatkem získali Harrachové, v roce 1927 zámek vyhořel. Po válce v něm byl umístěn internát středního zemědělského učiliště. Později se stal součástí zemědělského podniku, byl opuštěný a chátral. V roce 2015 byl zámek definitivně zbořen..