En 1314, el Castell Gaillard va ser la presó de Margarida i Blanca de Borgonya, que més tard es van convertir en reines de França; havien estat condemnades per adulteri en l'Afer "Tour de Nesle", i després de raspar-los el cap van ser tancades a la fortalesa, on van romandre fins i tot durant els seus regnes respectius. Després de la derrota escocesa a la Batalla de Halidon Hill el 1333 durant la Segona Guerra d'Independència d'Escòcia
, el rei-infant David II i alguns de la seva cort es van veure obligats a fugir a França per a la seguretat. En aquell moment, el sud d'Escòcia estava ocupat per les forces del rei Eduard III d'Anglaterra. David, llavors de nou anys, i la seva núvia Joana de la Torre, la filla de dotze anys d'Eduard II, van obtenir l'ús de Château Gaillard per Felip VI. Va ser la seva residència fins al retorn de David a Escòcia el 1341. David no es va quedar fora de mans angleses durant molt de temps després del seu retorn; va ser capturat després de la Batalla de Neville's Cross el 1346 i va suportar un captiveri d'onze anys a la Torre de Londres.