Rugadh James Milne, ar a dtugtar James Mill ina dhiaidh sin, i Northwater Bridge, i bparóiste Logie Pert, Angus, Albain, mac James Milne, brógaire agus feirmeoir beag. Thosaigh a mháthair, Isabel Fenton, ó theaghlach a d'fhulaing i ndáil leis an Éirí Amach Stuart, ag cinneadh go gcaithfeadh sé oideachas den chéad scoth a fháil, agus chuir sí é ar dtús chuig scoil na paróiste agus ansin chuig Acadamh Montrose, áit a d'fhan sé go dtí aois neamhghnách seacht mbliana déag go leith. Ansin, chuaigh sé isteach in Ollscoil Dhún Éideann, áit a d'eisigh sé é féin mar eolaí Gréagach. I mí Dheireadh Fómhair 1789, ceapadh é mar mháistir ar Eaglais na hAlban, ach bhuail sé le rath beag. De réir Ealaíontóir John Stuart Mill, a athair, cé go raibh sé "teagafaithe i gclár Scotchardineach, ag déanamh staidreamh scotch agus ag cur a chuid féin i gcrích ag a chuid staidéar féin agus
Muileann