Jackson yera fíu de Andrew Jackson (padre) y Elizabeth Hutchinson Jackson, unos inmigrantes protestantes del Úlster; yeren éstos persones bien probes d'ascendencia escocesa. De fechu Jackson y los sos hermanos mayores calteníen na so forma de falar munchos fragmentos del escocés del Ulster (dialeutu qu'usaben los nativos del Úlster de sangre escocés).