Pohled na boční průčelí zámku od východu od silnice
© iV 25.8.2007
Zámek je jednopatrová obdélná stavba s mansardovou střechou s vykýři a věžičkou. Nové průčelí pochází z poslední přestavby ve 30. letech 20. století podle návrhu A. Dlabače. Uvnitř se částečně zachovaly valené klenby s lunetami.
Už k r. 1205 se připomíná Pavel, praděd Klímaty ze Všenor. To je první zmínka o této vsi vůbec. ...Až do poloviny 15. století probleskne v pramenech čas od času jméno některého zemana ze Všenor, např. r. 1324 Vojslav ze Všenor, v l. 1372 až 1379 se uvádí jako hofmistr arcibiskupa jan Kluk ze Všenor, r. 1403 Petr Kvas ze Všenor, r. 1456 Sezema ze Všenor. Koncem 16. století se stal všenorský dvůr jako odúmrť majetkem kapituly Všech svatých na Pražském hradě. Preláti pražské kapituly pronajímali dvůr poddaným i svobodným lidem jako jiné poddanské usedlosti. Kolem r. 1615 seděl na všenorském dvoře svobodný člověk Petr Zeman. Náleželo k němu půltřetího lánu polí, mlýn a lesů "za tři leči". Předtím držela dvůr tchyně Petra Zemana Ludmila Všenorská. V tomto zápise v gruntovní knize pražské kapituly je také zmínka o tvrzi, jež v té době ve Všenorech asi ještě existovala. Později už po ní zbylo pouze pomístní jméno Pod hradem, upomínající na bývalé panské sídlo..
Existence všenorské tvrze není spolehlivě doložena, podle oficiálních stránek obce tomu ale nasvědčují archeologické nálezy z 19. století. August Sedláček popírá Palackého domněnku o existenci místní tvrze s tím, že v deskách a starých pamětech nic takového nenašel (in Hrady, zámky a tvrze Království Českého, 6. díl – Podbrdsko, str. ...92). Dle literatury z 80. let minulého století, viz text výše, byla naopak tvrz zmíněna v 17. století. Dnešní podobu získal zámek počátkem 20. století, k původní barokní budově bylo přistavěno druhé křídlo. Další přestavba proběhla ke konci 30. let 20. století tehdejším majitelem Hanušem Kasalickým, který vlastnil zámek do roku 1946. Později byla v zámku zřízena družina. Rekonstrukce soukromou firmou proběhla v nedávné době. K zámku patří hospodářský dvůr. V parku stojí secesní pavilónek..
