Nacíu en Hurstville, Brabham foi un australianu de segunda xeneración, fíu dun almacenero del suburbiu de Hurstville, Nueva Gales del Sur, Sydney. Dexó la escuela a la edá de 15 pa trabayar nun garaxe.