
Rakovice jsou poprvé uváděny jako majetek břevnovského kláštera v roce 1045. V době před husitskými bouřemi byly součástí arcibiskupského statku v Příbrami. Ze světských majitelů je znám jako první Bořivoj z Čimelic, po něm je získal Jezovec z Rakovic. Za třicetileté války byly Rakovice, včetně tvrze, vypáleny a získal je Jan Vojtěch Vratislav z Mitrovic. Ten tvrz opravil a po necelých deseti letech ji prodal Ladislavu Hrobčickému z Hrobčic. K sousedním Čimelicím Rakovice připojil v roce 1714 Karel Bohumil z Bissingenu. Ten také přestavěl tvrz na barokní zámek. Po druhé světové válce zámek využívalo JZD. Dnes je objekt zpustlý a jeho využití není autorovi známo.
1991 vrácen v restituci panu Karlu Schwarzenbergovi. V r. 2007 ho pronajal na patnáct let sdružení "Berkat", které pomáhá uprchlíkům v Česku a dětem i ženám v Čečně a v Afghanistánu. Zámek chce sdružení opravit a jako správce sem umístit rodinu migrantů. To však ještě potrvá. Poté, co ho Schwarzenbergům zabrali, sídlilo zde zemědělské družstvo a zbyla po něm spoušť. Postupně jsou zde dávány do provozu byty, sloužící pro potřeby sdružení. Při opravách byly objeveny pod starými omítkami fresky a dokonce byla i objevena černá kuchyň, o které nevěděl ani místní správce..