1314. urtean, Gaillard gaztelua Margaret eta Blanche de Borgoinakoen espetxea izan zen, geroago Frantziako erreginak bihurtu zirenak; adulterioagatik kondenatuak izan ziren "Tour de Nesle" auzian, eta burua moztu ondoren, gotorlekuan giltzapetu zituzten, non bere erregealdietan ere egon ziren. Eskoziako independentziaren bigarren gerran 1333ko Halidon muinoaren guduan eskoziarren porrotaren ondoren
, David II.a eta bere gorteko batzuk Frantziara ihes egin behar izan zuten. Garai hartan, Eskoziako hegoaldea Ingalaterrako Eduardo III.aren indarrek okupatzen zuten. Davidek, orduan bederatzi urte zituela, eta bere emaztegai Joan of the Tower-ek, Eduardo II.aren hamabi urteko alabak, Felipe VI.ak Château Gaillard-en erabilera eman zien. Davidek Eskoziara itzuli arte izan zen haien egoitza 1341. urtean. David ez zen denbora luzez ingelesen eskuetatik atera; 1346an Neville's Cross-eko guduan harrapatu zuten eta hamaika urtez Londresko dorrean egon zen.