Na místě zámku kdysi stávala dřevěná tvrz Koštofrank. Jan Škopek z Bílých Otradovic ji přestavěl ve tvrz kamennou, pro jejíž bílé zdi ji poddaní nazývali Bílým hradem-Bělohradem, z čehož vznikl název města.
V barokní zámek nechal tvrz přestavět Berthold Vilém z Valdš…historie - Vladimír Studecký a místní informační tabule
