James Walker nacque nel 1764, figlio di James Walker di Innerdovat, Fife, e di sua moglie la scrittrice Mary Leslie, terza figlia di Alexander Melville, quinto conte di Leven. Entrò in marina come aspirante a bordo della 32-gun il 18 dicembre 1776, servendo sotto il capitano William Garnier. Andò in Giamaica nel gennaio 1777, ma tornò nelle acque britanniche per servire nel Mare del Nord e poi nel Canale della Manica con la flotta di Sir Charles Hardy durante la crisi di invasione nel 1779.
- No, no. Mentre serviva nel Canale nel 1780, Southampton catturò un corsaro francese da 18 cannoni al largo di Portland, con 80 uomini a bordo. Walker fu inviato per aiutare a rimuovere i prigionieri, e dopo averlo fatto rimase a bordo per aiutare con le balle e il pompaggio, poiché il corsaro era in pericolo di affondamento. Nonostante i suoi sforzi il corsaro affondò improvvisamente, portando quasi Walker con sé. E' stato in acqua per dieci minuti prima di essere salvato.