
Na severovýchodní straně městečka Budišova stávala kdysi vodní tvrz, zajišťovaná vodním příkopem a dvěma rybníky – Dvorským a Vodiškovým, dnes vysušenými Důležitou součástí tvrze, vzniklé patrně ve 14. století, byla obytná věž a později víceposchoďový palác.
Tato tvrz původně náležela rodu z Budišova, který měl stejný znak jako pánové z Lomnice, perutě. Poslední z nich, Budiš z Budišova, se spolu s jinými moravskými válečníky zúčastnil tažení polského krále Vladislava II. proti řádu německých rytířů i vítězné bitvy Grunwaldu v r. 1410. Po jeho smrti převzal zboží Dobeš z Meziřící. Po Dobešovi zdědil Budišov, a tím i tvrz příbuzný rod z Boskovic. Od něho koupili v r. 1476 ves a tvrz Budišov s městečkem Tasovem Mrakešové Ferdinandem I. na městečko. po krátkém vlastnictví (od počátku 60. let 16. století) předal Jan Martinovský z Rozseče v r. 1573 tvrz a městečko Budišov, městečko Tasov se zříceninami hradu zvaného později Dub, ves Nárameč s pustou tvrzí Holeje, ves Oslavu (dnes součást Dolních Heřmanic), majetek ze vsí Kamenná, Holubí Zhoř, Studnice, vše s příslušenstvím, Václavu Berkovi z Dubé a z Lipé, manželu Aleny Meziříčské z Lomnice.
Václav Berka přestavěl dosavadní tvrz v renesanční zámek; vznikla bloková stavba uzavřeného renesančního půdorysu s pravoúhlým nádvořím, vyzdobeným arkádami. V rodě Berků a jejich příbuzných zůstal Budišov do r. 1715, kdy jej získali Paarové, v jejichž majetku zůstal do r. 1768. Paarové přebudovali zámek v 1. 1715 - 1721 v honosné barokní sídli, charakterizované podstřešním patrem a vznosným portálem. Interiér byl vyzdoben štukami a ornamentálními malbami podle čínských vzorů s pozlacenými výplněmi. V prvém poschodí vyniká kaple s nástěnnou malbou A. Prennera, v druhém patře dvě freskové místnosti s malbami Ondřeje Kubětského z 1. 1720 - 1730; v jedné z nich je zajímavý soubor tří velkých obrazů s mytologickým námětem Martových námluv, jejichž hlavní postavy představují členové Paarovy rodiny. Také salla terrena vyniká malířskou ornamentální výzdobou. V předzámčí byly vybudovány hospodářské budovy.
Ve 20. letech 18. století byl kolem zámku zřízen park se čtyřmi rybníky, Horním, Dolním, Jeřábkem a Pivovárkem; zčásti byl upraven ve francouzském slohu. Jeho bohatá plastická výzdoba však byla v 19. století odstraněna. Paarové kromě toho obohatili městečko Budišov i okolí zámku řadou soch. další úpravy zámku – zejména interiérů – byly provedeny v 1. 1776 - 1781.
V r. 1794 vyměnili Paarové zámek spolu s panstvím s Františkem Josefem Jungwirthem za Kardašovu Řečici; jeho dcery pak prodaly budišovské panství rytíři Jáchymu Stettenhofenovi († 1813). Ten založil koncem 18. století na budišovském panství několik nových vesnic a budišovské předměstí Kundelov a v městečku přádelnu. Sňatkem jeho dcery Amálie přešel zámek a panství na rod Barattů-Dragonů, pocházející z Neapole; v jeho vlastnictví zůstal až do nejnovější doby.
Z novějších přírůstků je v zámeckém depozitáři uložen materiál získaný během studijních sběrných cest do oblasti delty Dunaje v letech 1979-1990, na Kubu (1987), do Jakutska (1991) a Jižní Ameriky (1994-1998). Sbírky obratlovců jsou doplněny ukázkami zástupců několika skupin bezobratlých živočichů – mořských hub, žahavců, korýšů, měkkýšů, červů a ostnokožců. Vlastníkem zámku je městys Budišov..