Charles Montagu Douglas Scott syntyi Walter Montagu Douglas Scottin, 5. Buccleuchin herttuan, neljänneksi poikana. Hän opiskeli Radleyn yliopistossa ja liittyi kuninkaalliseen laivastoon 1853. Hän toimi Mustanmeren laivastossa vuonna 1855 Krimissä. Hän osallistui myös Fatshan Creekin taisteluun vuonna 1857 toisessa oopiumissodassa.
Hän palveli laivaston prikaatissa Intian kapinan aikana.