
Hrad se nazývá též Kostelec nebo Kostelec na Sázavou a je možné jej nalézt na ostrožně nad pravým břehem Sázavy, kousek od vodáckého kempu nedaleko Týnce nad Sázavou, kde se nalézá hrad, který také stojí za návštěvu.
Ten nechal posléze pobořený hrad výrazně obnovit. Jako součást Zdeňkova majetku byl hrad obležen a dobyt vojsky krále Jiřího v roce 1467. Od té doby je zříceninou. Dispozice prvé fáze hradu byla dvojdílná. Předhradí, přístupné přes vyzděný příkop čtverhrannou věžovitou bránou, obklopovalo ze tří stran výše položené jádro. Zde se na nejchráněnější straně nacházel dvouprostorový plochostropý palác s vnější zdí, vzepřenou mohutnými opěrnými pilíři. Obvodová hradba na protilehlé straně tvoří kličku, připomínající kličky obcházející bergfrity soudobých hradů (Pirkenštejn). Zda zde skutečně věž stávala, ovšem nevíme, protože tento prostor, zřejmě za přestavby Zdeňka Konopišťského, vyplnila dvouprostorová podsklepená budova. V té době byla zastavěna i protilehlá strana nádvoří jádra. Upravováno bylo i předhradí. Získalo novou protáhlou vstupní bránu, která byla dovnitř otevřená. Korunu valu před prvým příkopem s ním spojila branka s padacím můstkem v severozápadním nároží. V podstatě již ve svahu pod ní byla vyhozena čtvrtokrouhlá zemní bašta. Ta spolu s vysunutou okrouhlou věží na skalce na jižní straně umožňovala kontrolu přilehlého údolí. Přesnější datování vysunuté okrouhté věže bez jakéhokoliv detailu ovšem není možné a nelze vyloučit, že vznikla již dříve. V okolí hradu se až do nedávna velmi dobře dochovaly pozůstatky obléhacích prací. Vědomosti o prvé fázi hradu nejsou dostatečně hluboké. Pokud by v kličce jeho čela stála věž, jednalo by se o hrad bergfritového typu. V případě, že nikoliv, museli bychom vznik kličky přičíst snaze o zajištění sousední brány a uvažovat pak nejspíše o bezvěžovém hradu, eventuálně hradu s plášťovou zdí. Velmi zajímavá je přestavba Zdeňka Konopišťského, evidentně prováděná ve značném chvatu. Hrad při ní nebyl obnovován jako rezidenční objekt, ale jako vojenský opěrný bod schopný pojmout a zajistit pobyt značného množství vojáků..
1341, kdy se připomíná Oldřich z Kostelce, příslušník rodu pánů z Valdeka. Hrad, který byl původně královským majetkem, držel v zástavě asi od Jana Lucemburského. Karel IV. Kostelec před r. 1356 vykoupil, ale už r. 1357 jej opět zastavil Jakubovi z Kostelce (do r. 1358), jenž byl synem králova podkomořího Frenclina. Od r. 1360 měl hrad v zástavě magdeburský purkrabí Jan z Hardeka s manželkou Lenou, dcerou saského knížete Rudolfa a královou příbuznou. Kostelec, k němuž tehdy patřilo deset vsí, se měl po smrti Jana z Hardeka stát jejím věnným statkem. Od r. 1385 se na Kostelci připomíná vyšehradský purkrabí Chval ze Rzavého, který držel zdejší hrad dědičně. Po jeho smrti došlo ke sporu o hrad i o Chvalovo dědictví, jenž byl v r. 1398 rozhodnut ve prospěch probošta u Všech svatých na Pražském hradě Ješka a Mikše ze Šeslic. R. 1400 získal Kostelec Filip Lout z Dědic, ale pouze jako manství. Od r. 1411 se psal podle Kostelce oblíbenec Václava IV. Jan Sádlo ze Smilkova, králův rádce a v l. 1417–1419 nejvyšší lovčí. V r. 1421 byl na čáslavském sněmu zvolen do dvacetičlenné prozatímní vlády, ale v říjnu téhož roku byl v Praze na radnici sťat, aniž byl vyslechnut a mohl se obhájit z nařčení ze zrady (spojení měšťanů a univerzitních mistrů s panstvem). Jeho syn Jan prodal Kostelec asi v r. 1443 Kunešovi Rozkošovi z Dubé. Podle rozboru dochovaných zdí měl Kostelec v této fázi svého stavebního vývoje asi tuto podobu: vnitřní jádro hradu půlelipsovitého půdorysu mělo vstupní bránu na východě. Ze všech stran bylo uzavřeno vysokou, asi 2 m silnou hradební zdí, která po pravé straně vstupu vybíhala v oblou, značně vyčnívající baštu. Uvnitř výstupku za hradební zdí pravděpodobně stávala velká okrouhlá věž. Vstupní bránu chránil zvenčí příkop s padacím mostem. Nádvoří bylo původně volné, jenom na nejlépe chráněné jihozápadní straně na konci ostrohu se k obalové zdi, která tu je zvenčí dosud vzepřena třemi vysokými opěrnými pilíři, přimykala obytná budova. K tomuto jádru přiléhalo ze tří stran úzké předhradí, do něhož se přicházelo od
východu vstupní věží. Široký příkop před ní, vylámaný ve skále až dolů k řece Sázavě, byl uzavřen příčnou zdí. Na opačném předhradi byla branka vedoucí na plošinku před palácem. Kuneš Rozkoš z Dubé byl odpůrcem Jiřího z Poděbrad, a proto byl Kostelec r. 1449 obležen vojskem vedeným Zdeňkem Konopišťským ze Šternberka, ale neúspěšně. V r. 1450 došlo k novému obléhání, tentokrát za účasti Jiřího z Poděbrad a dalších spojenců. Dne 23. května 1450 byl hrad dobyt, pobořen, hradby rozmetány. Pustý hrad s některými vesnicemi získal pak Zdeněk Konopišťský. V r. 1456 byl Zbořený Kostelec zbaven manského závazku a připojen ke Šternberkovu konopišťskému panství. Nový majitel obnovil opevnění hradu. Protože starý palác v jihozápadním cípu nádvoří zatím už asi úplně zpustl, byla na protilehlém konci, vedle vstupní brány, přistavěna k obalové zdi nová patrová budova. Zřejmě současně byla postavena přízemní budova na druhé straně brány, vedle bývalého paláce. V severní části byla do rozbořené ohradní zdi vestavěna nová vstupní věž, jejíž čelo, vzepřené při krajích opěrnými pilíři, zasahovalo až na dno prohloubeného příkopu. Věž, otevřená dovnitř, má dosud hrotitý vjezd s konzolami pro padací most a postranní výklenky se střílnou. Úkol střežit cestu přes Sázavu k hradu proti potoku dostala nová věž (o průměru až 8 m a síle zdí 2,5 m), vysunutá až na okraj skalního útesu nad ústím potoka; přístupná byla z předhradi po ochozu spojovací zdi. V domácí válce zelenohorské jednoty s Jiřím z Poděbrad byl na jaře 1467 Kostelec obležen královským vojskem a v druhé polovině července téhož roku dobyt a znovu rozbořen. K jeho obnově už nedošlo. Mohutná zřícenina hradu Kostelce se dochovala dodnes jako dominanta skalnatého ostrohu nad ústím Kamenického potoka do Sázavy; na druhém břehu řeky leží vesnice, která odedávna nese stejné jméno jako hrad (nyní Zbořený Kostelec). V areálu zříceniny hradu je dobře patrná severní a východní část příkopu, zbytek brány, uprostřed městiště vysoké zdivo obdélníkové budovy, nad srázem na západní straně vysoké zdivo s třemi mohutnými pilíři a na příkré skále zbytek okrouhlé věže. Severně od zříceniny, v sedle Čížova, jsou čtyři pravidelné prohlubně, považované za palebné postavení velkých pušek a praků při obléhání hradu v r. 1467..