LOUIS VI LE GROS, roi de France de 1108-1137, mène une campagne militaire contre le duché de Normandie en 1119. Il est battu par le duc de Normandie HENRI 1er BEAUCLERC à Brenneville près des Andelys. Au mois de septembre,  au retour de cette désastreuse expédition ,  LOUIS VI incendie le château d'Ivry.


Dés le XIIe siècle, la seigneurie de Gaudreville-la-Rivière (27) et le fief de « La Haye » sont rattachés à la baronnie d’Ivry sous l’égide d’un vassal du nom de Guillaume Harenc.  On retrouve la mention du fief de « La Haye » dans un aveu de 1456 relatif à Ivry.

1119 : Eustache de BRETEUIL réclame la tour d'Ivry. A cette époque le capitaine de la garde du château est Raoul HARENC. Plus tard, HENRI 1er d'Angleterre confiera la citadelle à Robert GOEL.

1122 : Guillaume LOUVEL prend possession d'Ivry à la mort de son frère Robert GOEL. En 1123 il se révolte, en compagnie de Galéran de Meulan, contre HENRI 1er.

1172 : le château est entre les mains de GALERAN D’IVRY (fils de Guillaume Louvel) .
A sa mort en septembre 1177, le donjon (castellum) est remis à HENRI II d’Angleterre.

1180 (28 Juin) : le roi de France Philippe AUGUSTE renouvelle avec HENRI II un traité d'alliance déjà conclu à Ivry, entre LOUIS VII et Henri II. Ce traité aurait porté sur le mariage entre la sœur de Philippe Auguste et le fils de Henri II : le futur Richard COEUR de LION.

1188 : HENRI II menace MANTES. Philippe AUGUSTE le rejoint à  Soindres avec son armée et le contraint à se replier sur Ivry.

1191 : Philippe AUGUSTE s'empare d'Ivry pendant la captivité de Richard COEUR de LION.