Ma la verità fu che Gerolamo volle seriamente conquistare il castello, sprecando molte anime piuttosto che aspettare e demolire gli edifici a suon di granate.
La battaglia iniziò all’una del pomeriggio, poiché il generale Drouot consigliò a Napoleone che sarebbe stato meglio aspettare che il terreno si asciugasse dopo le violente piogge del giorno prima. Le colonne di Foy e Gerolamo si lanciarono all’assalto di Hougoumont. L’intento era creare un diversivo al principale attacco, che sarebbe stato sferrato al centro. Ma la verità fu che Gerolamo volle seriamente conquistare il castello, sprecando molte anime piuttosto che aspettare e demolire gli edifici a suon di granate. Gli assalti cessarono una volta che Wellington mandò le brigate delle Coldstream Guards, che misero in sicurezza la fattoria fino a quel momento difesa delle truppe hannoveriane e di Nassau, stremate dai continui attacchi frontali e dai tirailleurs francesi.