
Zámek se nachází v areálu bývalého zemědělského družstva. Dostanete se k němu, když pojedete po silnici II/347 z Světlé nad Sázavou na Habry a v Bačkově u kapličky odbočíte vpravo.
Dnes chátrající pozdně barokní jednopatrový zámek z 2. poloviny 18. stol. obsahuje ve svém zdivu nejspíše i starší panská sídla původně zde stojící. Zámek je obdélníkového tvaru s mansardovou střechou. Jeho fasáda je členěna římsami a lizénami. Sklepy jsou zaklenuty cihlovou klenbou (pozůstatek původní tvrze), přízemí převážně valenými klenbami a patro je plochostropé. Přístavba úzkého křídlo při západní straně zámku je mladší, snadno rozpoznatelná, neboť je kryta valbovou střechou.
Zámek využívalo zemědělské družstvo, nejprve jako kanceláře a později jako sklady, ale o opravy se příliš nestaralo. Dnes je zámek již v soukromých rukou, ale novému majiteli se zřejmě nedostává peněz na opravu a do zámku zatéká.
zde byla založena tvrz. Podle jiných autorů je tvrz zmiňována již roku 1458. V 16. stol. byl Bačkov spojen s panstvím ve Světlé nad Sázavou a na přelomu 17. a 18. stol. za Jana Oldřicha Klusáka z Kostelce byl Bačkov řízen se sídla ve Zboží. Podle některých autorů byla tvrz upravena na zámek již v roce 1750. Přesné místo tvrze a zámku, však není známo, s největší pravděpodobností však bylo konstrukcí zdiva využito za Jana Heřmana z Herreitu, který Bačkov zdědil a nechal zde v roce 1786 postavit nevelký jednopatrový zámek, který se dochoval do dnes. Později se zde majitelé střídali, až po roce 1945 přešel statek do rukou státu..