Duffin seuraava alus oli 50-kannallinen, johon hän liittyi vuonna 1755. Hän kulutti useita vuosia risteilyllä joko itsenäisesti tai osana päälaivastoa, ja vuonna 1758 hän oli osa kommodori Richard Howen laivueen puolustamista retkiä vastaan St Malo, Cherbourg
ja St. Cas. Hänestä tuli vuonna 1759 Bretagnen rannikolla sijaitsevan pienen laivueen ylimmäinen upseeri, joka tarkkaili ranskalaista laivastoa Morbihanissa, kun Edward Hawken laivasto piiritti Brestin Ranskassa. Kun hän oli ankkuroitunut Quiberoninlahdella 20. marraskuuta, hänen tiedustelijansa ilmoittivat suuresta ranskalaisesta laivastosta Belle Islen eteläpuolella. Duff kiirehti laivueensa, joka koostui neljästä 50 tykin laivasta ja neljästä fregatista, merelle, kun ranskalaiset ajoivat heitä takaa. Ennen kuin heidät saatiin kiinni, Hawken päälaivasto tuli ja ylitti ranskalaiset, kukistamalla heidät ratkaisevassa Quiberonin lahdessa.