
Zámek ze 17. stol. se nachází při východním okraji obce u Arboreta. Budova zámku sice dnes tvoří hranici Arboreta, které se nachází v místech bývalého zámeckého parku, ale s Arboretem již nijak nesouvisí.
Původně renesanční zámek byl opakovaně přestavován a jeho renesanční podoba byla prakticky setřena. Dnešní zámek je jednoduchá, jednopatrová, čtyřkřídlá budova s malým dvorem.
Ze zámku jsou přístupné pouze prostory sloužící dnes pro veřejnost. V zámku sídlí OÚ Bílá Lhota, zdravotnická zařízení, pošta a další subjekty.
Koncem 16. stol. se majitelem panství stává Mikuláš Kobylka z Kobylího. Za Jana Záviše a jeho manželky Kunky z Kobylí v šedesátých letech 17. stol. (1560 - 1569) byla tvrz přestavěna v renesanční již čtyřkřídlý zámek. K dalším stavebním úpravám došlo v 17. stol. V letech 1792 - 1840 byl majitelem panství Johann Albert von Ostheim. Jeho dcera se provdala za Konradina Kreutzera, který byl kapelníkem vídeňské opery a při jednom ze svých pobytů zde pracoval na hudbě k opeře "Noc v Granadě". Již v této době byl při zámku založen park. Od roku 1869 bylo panství majetkem rodu Riedlů a to až do roku 1945. Dnes je budova zámku majetkem obce Bílá Lhota..
V r. 1720 koupil statek s tvrzí Markvart Hochberg z Hennersdorfu. Asi ve 40. letech 18. stol. přestavěli Hochbergové tvrz na barokní zámek. Patřila jim i nedaleká renesanční středověká tvrz v Nemili u Zábřeha..