První zmínka z r. 1316 se váže k Nemírovi z Kamene, další (1318) ke Zdíkovi z vladyckého rodu Tluksů z Vokova. Jeho nástupce Bušek Tluksa přijal r. 1327 od krále Jana Lucemburského manský závazek. O hradu se píše poprvé r. 1356. Tluksové vlastnili hrad Kámen s kratší přestávkou až do r. 1437, kdy Hynek Tluksa prodal hrad s příslušenstvím Purkartovi ze Žirovnice. Tehdy k hradu patřily městečko pod hradem a vsi Věžná a Eš.

Jak Tluksové, tak také nový majitel hradu stáli na straně husitů. Za Purkarta došlo na hradě r. 1450 ke schůzce Jiřího z Poděbrad s Oldřichem z Rožmberka, na níž uzavřeli společný smír.
R. 1456 Purkart postoupil Kámen bratrům Buriánovi, Zdeňkovi a Mikuláši Trščkům z Lípy, ale ti jej již po čtyřech letech prodali Janu Sádlovi ze Smilkova. Od té doby se majitelé Kamene často střídali. Podle ustanovení Sádlovy závěti převzal r. 1465 hrad s dvorem, městečkem Kamenem a vesnicí Eš Petr Břekovec z Ostromeče. Po třech letech koupil Kámen Oldřich Fifka z Vydří. Od jeho syna Albrechta získal r. 1479 hrad s příslušenstvím Jan z Vojslavic. Jeho syn Markvart dosáhl souhlasu krále Vladislava II. na zrušení manského závazku (1504).
Markvartovi dědicové se dohodli o rozdělení hradu a jeho příslušenství: Petr z Vojslavic prodal pak (před r. 1513) polovinu hradu s vesnicemi Věžnou, Dvořištěm a Šimpachem Janu Zručskému z Chřenovic, druhou polovinu hradu a vsi Vintířov, Vysokou Lhotu, Dobrou Vodu, Německou Lhotu, Důl a Eš převzala Petrova sestra Kateřina, která vše převedla na svého manžela Petra Malovce z Malovic. Ten odkoupil od Zručského polovinu statku.
Z pozdějších majitelů hradu, kteří se zapsali do jeho stavebních dějin, třeba vzpomenout především rytíře Jana Kryštofa Malovce, který dal své sídlo v r. 1637 náležitě opravit, jak to dosvědčuje pamětní deska s jeho znakem a znakem obou manželek (Marie Veroniky Švihovské a Anny Barbory z Kokořova), zasazená nad branou.
Malovcové byli posledním rodem domácího původu. Na počátku 18. století koupil Kámen od Jana Kryštofa Malovce František Karel Fresl z Kvaltenberka a po něm již následovala řada majitelů vesměs německého původu. Výjimkou byl Václav Enis z Atteru (1860 – 1872), rodem ze Skotska, který hrad regotizoval. Stavební úpravy dokončil poslední majitel Kamene Antonín Fleissig (od r. 1916).
Hrad byl vyvlastněn československým státem r. 1948. Zprvu jej postoupilo ministerstvo zemědělství (1951) do užívání Československé obci sokolské, po dvou letech byl hrad prohlášen ministerstvem školství, věd a umění za státní kulturní majetek a dán do užívání místní osvětové besedě. R. 1964 se hrad stal majetkem ONV Pelhřimov a za jeho správy byl restaurován. R. 1974 bylo na hradě instalováno muzeum jednostopých vozidel na památku 70 let založení mezinárodní motocyklové federace (FIM).
Budovy seskupené na skalním útesu nad vesničkou Kamenem jsou z větší části přestavby gotického hradu. Nejstarší trakt je tzv. západní palác či věž (kolem r. 1300), která měla obranný charakter. Základová skála byla zde přerušena příkopem, přes nějž se po padacím můstku vcházelo do paláce. Přízemní prostor, zřejmě zbrojnice, měl úzká hrotitá okénka (zachováno jediné). Sál v prvním patře osvětluje řada oken zasazených do hlubokých výklenků s kamennými sedátky po stranách. Západní gotický palác uzavírá z jihu čtvrtkruhová bašta zvaná Kaplanka, navazující na věž, přestavěnou v 19. století v napodobenině gotického slohu. Před palácem západním směrem stojí představená bašta s krátkými úseky hradeb na obou stranách.
K původnímu paláci byla ještě ve 14. století přistavěna tři křídla, severní chráněné hradbou, před jižním byl hrazený parkán a spojením obou souběžných budov na východní straně vzniklo menší nádvoří, kde v úrovni prvního patra obíhá klenutý ochoz, odkud je přístup do místností. Renesanční úprava severního křídla s obdélnými, široce zkosenými okénky a hrotitým portálem v přízemí pochází z doby Jana Kryštofa Malovce. Horní sál má částečně zachovaný renesanční trámový strop. Protější jižní křídlo, přestavěné asi začátkem 17. století, má v přízemí klenutou síň, pod kterou je hladomorna. Pod stropy místností v prvním patře byly nedávno odkryty figurální malby.
Před gotickým hradem na východní straně bylo předhradí, do něhož se vjíždělo přes padací most, průjezdem v dosud stojící hranolové věži se střílnovými okénky v obou patrech (třetí patro je novogotická nástavba). V severovýchodním koutu předhradí stávala patrová věž zv. Petranka, z níž se zachovaly jen sklepy. Za Václava Enise z Atteru byla do proražené staré hradby vsazena pseudogotická brána. Cimbuří na hradbách je rovněž novodobé.

Text: historie
8.4. 2004 - Hrady, zámky a tvze v Čechách,.. Jižní čechy