
Výstavná tvrz vladyků z Dunajovic měla přibližně čtvercový půdorys o stranách cca 36 x 40 metrů s hradbou cca 2 metry silnou. Po všech stranách jej obklopoval mohutný příkopPodél celé severní strany stál v obvodovém zdivu z větší části dochovaný rozměrný trojprostorový palác o třech podlažích. Během 15. století byl obezděn příkop, úpravy se dají předpokládat i v interiérech.
Přestavba Březnických z Náchoda na počátku 16. století v sobě směšuje prvky odcházející pozdní gotiky a nastupující renesance. Obnovena byla východní část nádvorní zdi paláce, s novými pozdně gotickými okny. K paláci byla na subtilních pilířcích přistavěna visutá pavlač. Ta pokračovala i podél nádvorní strany nového nejméně dvojpodlažního (sklepy a zvýšení přízemí) křídla přistavěného k západní hradbě. Ze západní fasády v z něj v přízemí vystupoval velký arkýř s raně renesančním oknem. Na západní křídlo navazovala mírně natočená vstupní brána v přízemí s průjezdem a strážnicí v renesanci zaklenutými. Na východě bylo zřejmě plánováno třetí křídlo, do obvodové hradby byly již prolomena nová okna, k realizaci křídla došlo ale zřejmě až později v 16. či na počátku 17. století.
Tato ryze renesanční přestavba byla rozložena od poloviny 16. století do roku 1608. V severním paláci bylo přestavěno patro, zvýšené přízemí dostalo nová okna a budova byla zvýšena o podstřešní patro s malými okénky. Obdobně bylo o dvě nízká podlaží zvýšeno západní křídlo datovaná do roku 1568. Postaveno bylo také již zmíněné východní křídlo a pavlač dostala nové vnější schodiště. Renesanční přestavbu završilo roku 1608 osazení honosného portálu do severozápadního kouta pavlače. Portál vedl na dvouramenné vnitřní schodiště. Upraveno bylo i západní křídlo, jeho jižní rizalit byl stržen a průčelí vyrovnáno.
Při raně barokní přestavbě někdy ve 2. polovině 17. století snad mezi lety 1660 a 1679 byla přepatrována západní část zámku a její jižní díl byl zvýšen o jedno patro, obdobně zvýšeno bylo pravděpodobně zvýšeno i východní křídlo. Zcela přeřešeny byly i okenní otvory.
Úprava na sýpku znamenala zmenšení či úplné zazdění oken a nejspíše i demolici zchátralého východního křídla, na jehož místě stojí na katastrální mapě z roku 1824 jiná drobnější stavba. Došlo i ke snížení budovy brány.
V té době zde již měli důstojné sídlo zmiňované roku 1355 dokonce jako hrad. Příliš dlouho si však rodové sídlo neudrželi, v poslední třetině 14. století panství rozdělené na několik dílů často měnilo majitele. Od roku 1386 jej držel moravský maršálek Filip ze Svojanova, odúmrť po něm zapsal roku 1406 markrabě Jošt Niklasovi Huntovi z Florštetu, ve druhé polovině 15. století na tvrzi sídlili páni z Vajtmile a vladykové z Říčan. Roku 1505 koupil Dunajovice Oldřich z Náchoda. Zchudlý rod se na počátku 16. století začal opět vzmáhat a za Jindřicha z Náchoda byl kolem roku 1541 povýšen opět do panského stavu. Jindřich i jeho syn Fridrich provedli renesanční přestavbu tvrze, za Fridrichova syna Hynka je sídlo roku 1600 nazýváno zámkem. 17. století Dunajovicím opět přineslo časté střídání majitelů, postupně je drželi hrabata z Hodic (1619-41), z Götzu (1641-70), Werdenberka (1670-79), až je roku 1684 Pavel Albrecht von Teyburg prodal strahovským premonstrátům. Premonstráti provedli raně barokní přestavbu, která napravila škody třicetileté války a především sídlo přetvořila pro jejich specifické potřeby. Odlehlé panské sídlo jim nebylo k užitku a proto je na přelomu 18. a 19. století přestavěli na sýpku. Hospodářským účelům sloužilo až do roku 1948, kdy byl klášterní velkostatek zestátněn. Již od roku 1920 byla část areálu využívána ke společenským účelům, roku 1928 bylo zřízeno kino. Po zestátnění byl objekt stále méně využíván, po přestěhování kina roku 1971 ustala jakákoliv údržba. Teprve po roce 1991 obec nechala opravit branskou budovu, krovy a vyměnit střešní krytinu.