
Zámek stojí v západní části městečka. Je to jednopatrová, dvoukřídlová budova v půdorysu písmene L. K severní straně, kde je umístěn vchod, přiléhá pseudorenesanční věž. Celý zámek je kryt valbovou střechou. Za plotem se rozléhá nádherný, avšak již trochu zpustlý park.
Někdy se ale uvádí, že zámek je přestavěn z původní renesanční tvrze. Po smrti Jana Fridricha v roce 1696 dědí Pečky jeho syn František Adam z Trautmannsdorfu, který panství prodává v roce 1713 Karlu Jáchymu Bredovi. Za něj došlo k výraznému zvýšení poddanských povinností, což vyústilo povstáním sedláků, jehož centrem byla ves Žandov. V této době vznikl popěvek: „Ach běda, běda, koupil nás Breda, z pečenských sedláků nadělal žebráků.“
Na podzim roku 1713 došlo i k obléhání zámku v Pečkách a sedláci se rozešli až na zásah čáslavského krajského hejtmana Františka Ferdinanda Haugvice. Zámek byl znovu obléhán sedláky v roce 1723. Karel Jáchym Breda své panství zadlužil a v roce 1734 bylo zabráno věřiteli a prodáno v dražbě. Správcem zabaveného majetku se stal Isidor Václav Obytecký z Obytec, který nechal vyhotovit v roce 1736 podrobný popis panství. Zámek s částí panství byl v roce 1738 postoupen jako náhrada za dluhy patronátním kostelům pražského arcibiskupství a na nedlouho přestal být panským sídlem. V roce 1754 prodává konzistoř panství Ignáci Kochovi, sekretáři císařovny Marie Terezie. Ten opravuje zámek (z této doby zřejmě také pochází zámecký pivovar) a Pečky nechává povýšit na městečko. Jeho syn Bohumír Koch panství zadlužuje a v roce 1794 ho kupuje v dražbě pražský advokát Leopold Hrubý ze Schwanenheimu. V průběhu 19. století se začalo říkat Pečkám Červené Pečky pravděpodobně podle střech zámku. Po smrti Leopolda v roce 1809 dědí Pečky jeho syn Josef Richard, který je v roce 1814 povýšen stavu českých svobodných pánů s přídomkem z Jelení. Nedaleko Peček buduje rodinnou hrobku. V roce 1860 dědí panství jeho syn Bohdan Karel August Hrubý z Jelení. Za jeho působení proběhly poslední velké úpravy zámku. V roce 1863 byla k severní části zámku přistavěna čtyřpatrová věž, prý na počest jeho svatby s Kamilou z Ledebur-Wicheln. Byly opraveny fasády zámku a jeho interiéry, upravena zahrada a zámecký park, při zámku bylo zavedeno pěstování orchidejí. V tomto období často pobýval na zámku František Kmoch, přítel Bohdana Hrubého. Bohdan Karel August Hrubý z Jelení umírá v roce 1914 a až do roku 1945 vlastní zámek jeho potomci. Od roku 1945 vlastní zámek stát. Dnes je zámek využíván armádou ČR a je nepřístupný.