Boulton va néixer el 1912 a Braxted Park a Essex, fill del polític Sir William Boulton, 1r Baronet, i va assistir a l'Eton College abans d'unir-se al Trinity College, Cambridge. El seu historial acadèmic no va ser distingit, però va ser capaç d'entrar al Temple Interior el 1936 com a advocat practicant. Al començament de la Segona Guerra Mundial, Boulton, que ja era amb l'Essex Yeomanry, es va unir a la Royal Horse Artillery i va servir al nord d'Àfrica. El 1940 va participar en l'Operació Compass, lluitant a la Batalla de Bardia.
i després el setge de Tobruk, on va contraure icterícia i va ser evacuat a Alexandria. Va tornar al servei de primera línia poc després, però va ser greument ferit en una explosió de mina terrestre.