
Podle všeobecně uznávaného příběhu, založil v letech 1003–1004 kníže Jaromír (syn Boleslava II.) hradiště v ohybu řeky Labe. Pravděpodobnějším zakladatelem se ale jeví Břetislav I. (někdy po roce 1050), který potřeboval důležitý opěrný bod u stezky do Polska. Teprve později na akropoli vznikl (v první polovině 13. století) kamenný hrad, který ale není v písemnostech doložen. V roce 1307 se Jaroměř připomíná jako královské věnné město. V 70. letech 20. století bylo při opravách kostela sv. Mikuláše nalezeno opukové kvádříkové zdivo s jednoduchými románskými okénky a pískovcová ostění, která lze přisoudit raně středověké stavbě. Poloha hradu uzavírá v nejužším bodě ostrožnu, chráněn byl příkopy a valy s kolovou hradbou. Podle T. Durdíka mohlo jít o kastel středoevropského typu. Buď byl průchozí, nebo vedla brána do města vedle něj. Přesnou podobu hradu však už dnes nelze určit. Situace hodně připomíná zaniklý hrad v Chrudimi – i tam byl na místě někdejšího hradu postaven kostel. Mohlo jít o záměr měšťanů vytěsnit z prostoru města královský hrad – tím, že na jeho místě vznikl kostel, bylo zabráněno jeho obnově.
Biskup Jan IV. z Dražic věnoval jaroměřský farní kostel kapitule Všech svatých na Pražském hradě a později byl svěřen augustiniánům. Zdá se, že v té době byl farním kostel Panny Marie na Pražském předměstí (dnes zhruba v prostoru velkého kruhového objezdu u Penny a Tesca), kde si augustiniáni vystavěli první zdejší konvent. V těchto místech také archeologický průzkum při stavbě silnice Náchod – Hradec Králové odhalil pozůstatky středověkých konstrukcí a hřbitov. Na počátku 15. století kanovníci požádali o přesun konventu ke kostelu sv. Mikuláše, který byl už tehdy označován jako farní. Bylo jim vyhověno s tím, že mají stávající budovy kanonie strhnout. Kostel Panny Marie pak zanikl během husitských válek. V roce 1404 se mluví o zahájení stavby dnešního trojlodního chrámu sv. Mikuláše.
Když v roce 1421 město obsadili husité, jsou zprávy o hradu v Jaroměři. Někteří autoři uvádějí, že mělo jít o stavbu v prostoru bývalého hradu-kostela. Jiní mluví o přestavěném augustiniánském proboštství – což je pravděpodobnější. U kostela sv. Mikuláše vzniklo dnešní děkanství (a možná i tzv. stará škola), ale z důvodů nedostatku místa bylo nové proboštství postaveno na západní straně náměstí u Pražské brány (dnes zhruba č.p. 38).
Později Jaroměř patřila vdově po císaři Zikmundovi, Barboře Geljské. Hrad, připomínaný r. 1448 byl tehdy sídlem jejího hejtmana, avšak měšťané si uhájili rozsáhlou samosprávu, kterou získali za husitských válek. Jiří z Poděbrad prosadil do Jaroměře jako purkrabího svého stoupence Vaňka z Valečova a z Kněžmostu a vymohl u krále Ladislava, že mu r. 1454 Jaroměř zastavil. Vaněk hájil velmi rozhodně zájmy Jiřího z Poděbrad a postupně omezoval moc jaroměřských měšťanů. Odňal jim některé pozemky a získal nazpět i jaroměřskou rychtu a ves Čáslavky. Když manželka krále Jiřího Johana z Rožmitálu vyplatila zástavu, stala se r. 1465 Jaroměř i s hradem, "kterýž jest udělán z domu proboštského" znovu věnným městem českých královen. V následujícím období, kdy Jaroměř jako královské město prožívalo za vlády Jagellonců „zlaté období" českých měst, zůstal hrad v majetku měšťanů.
Budova, která obsahovala konstrukce nového hradu, snad včetně věže, byla zbořena v roce 1931.
Stanoviskem města starého jest totiž táhlý ostroh, kterýž u kostela sv. Jakuba se začíná a u mostu končí; předměstí Pražské jest na místě, kde bývaly močály, vybíhá. Pravou ozdobou města jest velebný a ve své prvotní způsobě zachovaný kostel, který v 16. a 17. věku pečlivě obnoven byl. Proti němu přes ulici nalézá se děkanství, stavení prostého slohu, ale velmi prostranné. Postaveno jest r. 1780 na místě bývalého dřevěného stavení, a to zase stálo na místě hradu a domu proboštského neb části bývalého kláštera, který prostoru od konce podloubí městského až ke kostelu a ke bráně zaujímal. Veliké sklepy z opuky postavené a prostrannosti a výšky znamenité, které se pod děkanstvím až do hloubky druhého patra nalézají, jsou jediným zbytkem domu proboštského a tudíž i hradu. Jaroměř založena jest, jak se víře podobá, Jaromírem Přemyslem a potomním biskupem Pražským († r. 1090), jenž Hradecko na svůj úděl držel. Tato prvotní osada podobala se ve všem staroslovanským osadám, ohrazena jsouc plotem, v jehož zavření se dvůr a domy hradčanův nacházely. Proto osada ta výslovně hradem (arx, r. 1126) se nazývá. Jakožto věnné město právem městským vysazené připomíná se již r. 1307. V témže století povstal tu také klášter prvotně mimo hradby města (na Pražském předměstí „na Kameních“); ale poněvadž bylo místo to veliké a proto ozdoby klášterní i knihy velice se kazily, také proto, že sklepy a špižírny špatné byly, též kostel sv. Mikuláše v městě k témuž klášteru připojený vzdálen byl a konečně i za válek poloha kláštera málo bezpečnosti poskytovala, povolil arcibiskup Zbyněk (roku 1404 dne 5. května) aby klášter ke kostelu sv. Mikuláše přenesen a tu znova postaven byl. I zbořen starý klášter kromě kostelíka P. Marie a postaven nový v městě, při němž zbudován jest dům proboštský. roku 1421 dobyli Husité Jaroměře, klášter vytloukli, řeholníky některé upálili a toliko probošta Štěpána při živobytí zachovali. Krutosť tuto lze vyložiti krutostí Jaroměřských proti kališníkům za dvou let předešlých. Klášter nebyl nikdy více postaven, zboží jeho zachvátili držitelé zápisní a z domu proboštského udělán hrad. Kdo jej založil, není sice nikde psáno, ale jistě se tak stalo za císařové Barbory († roku 1451), která Jaroměř u věně svém držela; neb tři léta po její smrti již hrad stál. Roku 1454 dne 28. května postoupil Vácslav Valečovský ze Kněžmosta, podkomoří královský, tvrze Psář, dvoru Košíře, vsí Holubic a Pnětluk králi Ladislavovi za 1000 kop, za něž mu měl směnou užitku jisté v Jaroměři zapsati. Toho r. dne 28. srpna potvrdil král Jaroměřským výsady a dne 16. října zapsal dotčenému Vaňkovi ve 300 kopách hrad královský v Jaroměři s mlýnem pod kostelem, tak aby Vaněk hrad opravovati a stavěti mohl. V ostatních penězích zapsal mu král (snad již dříve) požitky některé z města Jaroměře vycházející. Dotčený Vácslav pocházel ze slavné rodiny vladycké a byl po rodičích svých horlivým kališníkem. Když byl Jiřík zvolen na sněmě za správce zemského, přidán mu Vaněk k radě sám dvanáctý a stal se potom podkomořím, jsa měšťanem Pražským i kališníkem, jako to předepisoval majestat krále Sigmundův z r. 1435. Zachovalo se nám dosti zpráv o činnosti jeho v tomto úřadě, kterak se horlivě přidružil ke snaze Jiříkově po upokojení země, chtěje toho dosíci povznesením moci královské skrze stav městský a mír s církví, uklízeje přečetné spory obcí se starými obyvateli, kteří v čas husitských válek od obcí byli odběhli. Také ve věcech náboženských jal se zaváděti pořádek a jednotu u víře, při čemž trestaje duchovní, kteří se z kázně církevní vytrhli, prudce a přenáhleně si počínal. Pronásledování dělo se tak hromadně a kvapně, že s tím M. Rokycana nesouhlasil a maje soud konati nad vězni, kteří mu od úřadu podkomořského dodáni byli, nejednou propouštěl a vracel je k soudům s psaními omluvnými a ochrannými. Nemoha podkomoří pak hned pořádek zavésti pro odpor kněžstva, dával vinu nezřízenosti tohoto stavu M. Rokycanovi, a nevycházeje s ním ze sporův, dal se strhnouti k urážkám obviněním naprosto nespravedlivým. Asi v ten čas, když ujal Jaroměř, sepsal traktát proti Rokycanovi a jeho kněžím, ve kterém sice spravedlivě horlí proti pánovitosti a pletení se kněží do záležitostí městských, ano chtí národ do nových válek a nebezpečenství uvrci, nešetře při tom i bojovných kněží Táborských, ale též, jak již dotčeno, M. Rokycanu nespravedlivě osočuje. Jak viděti z toho, byl Vaněk muž účinlivý a rázný, porážeje napořád odpory, které mu v cestu přicházely. K tomu lze dodati, že držel Jaroměřské v tak přísném poslušenství, že mu ani neodporovali, když jim vzal některé grunty obecní a rychtu městskou se vsí Čáslavky, kterouž jim byla králová Barbora r. 1445 darovala. Král Jiří zapsav město Jaroměř a jiná města u věně manželce své Johance z Rožmitála, dal jí moc, aby je od Vaňka vyplatila. Když bylo po vyplacení, podržel Vaněk nejen hrad, kterýž mu zvláště byl zapsán, nýbrž i mnohé příslušenství městské, kteréhož i na žádosť královninu vydati nechtěl. I vznesena jest pře tato na krále, který vypověděl r. 1464 dne 26. června takto: Při domu proboštském a co k tomu se drží budiž podkomoří vedlé zápisu krále Ladislava zachován, avšak což obce Jaroměřská drží, postoupí králové na sv. Prokopa nejprve příštího; z dědin okolo města, kteréž mu patří, bude šos platiti k městu a co by on dlužen byl měšťanům Jaroměřským aneb oni zase jemu, to buď na obě strany zaplaceno. Nález o rychtě a vsi Čáslavkách odložil král k jiné době. Roku 1465, 22. listopadu prodal Vaněk „hrad v Jaromíři, kterýž jest udělán z domu proboštského, s mlýnem pod kostelem“ obci Jaroměřské, zdělav jim na to dobrou vůli. V následujících letech se zamlčelo, že jest stavení toto zbožím královským, a zůstalo v držení města. R. 1547 vzat jest Jaroměřským všecek jich statek a sním i „dvůr za kostelem“ (snad také příslušenství kláštera), poněvadž se byli s jinými proti králi Ferdinandovi zapsali; čásť toho odprodána a vsi Jezbiny, Hořenice, Dolany, Čáslavky, řeka při městě, dva rybníky a dvůr pod kostelem roku 1549 obci na vychování kněží, chudých a žákův navráceny..