Le siège de 1346 provoque un tel traumatisme que le château va être une nouvelle fois remodelé.

A l'emplacement de la porte primitive au nord, un pont relie le donjon à l'espace découvert dit " la Garenne " où se trouve maintenant l'Esplanade de la paix. Ce pont est défendu par une petite barbacane aujourd'hui disparue. Au sud, une véritable porte fortifiée munie de deux tours est substituée à l'antique petite poterne. Une barbacane, la barbacane Saint Pierre y est ajoutée entre 1438 et 1445. Ce dispositif a été profondément remanié en 1804. Une barbacane est également construite pour protéger la porte des Champs. Détruite lors des bombardements anglo-américains de 1944, cette barbacane a été reconstruite à l'identique.

Les trois tours rectangulaires qui dominent la rue de Geôle remontent vraisemblablement à Henri 1er Beauclerc. Elles sont couvertes de toitures à quatre pans en bois. On y substitue vers 1386, des couvertures en ardoise. Les deux tours circulaires attribuables au règne de Philippe Auguste, renforçant la jonction entre le mur d'enceinte de la ville et le château, existent toujours. Ce sont la tour de la reine Mathilde, presque dans son état initial et la tour Puchot, qui a subi de nombreux remaniements. Les huit autres tours de l'enceinte datent de la phase de construction qui suivit le siège de 1346.

Après le bombardement anglais lors du siège de 1417, l'église romane Saint Georges construite par Guillaume le Conquérant est reprise Les fenêtres romanes à ébrasement intérieur sont condamnées. On y substitue de grandes fenêtres de style " modérément flamboyant ". La nef est recouverte d'une charpente dissimulée par un lambris. Un clocher en bois est vraisemblablement ajouté à cette époque. Au XVème / XVIème siècles, le chœur, la petite chapelle adjacente à la nef coté sud et le portail sont reconstruits.