
Ves Neustupov existovala již v 11. století, ze kdy se datuje nejstarší část kostela. První zmínka o vsi však pochází až z let 1279-1288 a o jejích majitelích, vladycích z Neustupova až z roku 1364. Někdy v té době také vznikla jen pár metrů od kostela, snad v místě předpokládaného staršího sídla souvisejícího s kostelem, nová gotická tvrz. Od druhé poloviny 15. století do druhé půle století následujícího patřil Neustupov Radimským ze Slavkova, poté jej drželi Kaplířové ze Sulevic.
Po popravě Kašpara Kaplíře na Staroměstském náměstí 21.6. 1621 bylo jeho bezhlavé tělo uloženo ve zdejším kostele, zkonfiskované panství získal don Martin de Hoeff-Huerta. Po jeho desetileté vládě následovala hrabata z Pöttingu, od roku 1681 Bissingenové a od roku 1809 Rombaldiové. Posledními majiteli byli od roku 1892 Aichelburgové, kterým byl Neustupov po roce 1948 zabaven. Zámek byl převeden na obec, která v něm zřídila skladiště. Po roce 1989 potomek rodu hrabě Vladimír získal zámek v restituci zpět. Od roku 2000 je majetkem firmy INTEC - export a import, s.r.o., která jej přestavuje na reprezentativní sídlo firmy. Jak to u takových přestaveb bývá, jsou některé kroky poměrně diskutabilní (použitá střešní krytina, nevhodné barvy apod.)
Z gotické tvrze se dochovala pouze jednoduchá obdélná věžovitá stavba, tvořící dnes část jižního křídla zámku. Během renesance byla budova rozšířena a k jejímu severnímu průčelí přistavěno nové křídlo. Fasády byly opatřeny dosud zčásti zachovanými sgrafity. Později následovaly další úpravy a v 19. století byl zámek novogoticky přestavěn.
1554). Tito manželé měli dva syny, Petra III.Mrackého z Dubé a Viléma II. Mrackého z Dubé, ale tito velice brzy po svých rodičích zemřeli, všichni mezi lety 1553-1556. Teprve po tom se dostala tvrz Neustupov do vlastnictví Kaplířů ze Sulevic..