Jimmy yera'l mayor de los cuatro fíos de la pareya. Na so infancia, mientres la Gran depresión, la familia treslladóse a vivir a una granxa que'l so padre mercara, asitiada en Archery cerca de Plains. Según narra Carter nel so llibru de memories An Hour Before Daylight: Memoirs of a Rural Boyhood, na granxa escarecíen d'electricidá y agua corriente, a pesar de ser una de les families más prósperes de la comunidá. La mayor parte de los sos vecinos yeren afroamericanos, comuñeros o peones de la esplotación del so padre, Carter taba en contautu permanente con ellos, comía nos sos llares y, cuando los sos padres atopábense fora, pasaba la nueche en casa de Rachel y Jack Clark, emplegaos de la granxa familiar. Esti contautu interracial solo yera posible na granxa cuidao que el ríxidu códigu llegal de segregación racial esistente establecía la separación na escuela, la ilesia y otros llugares públicos. Allá una vegada, Carter foi al cine a la ciudá de Americus, col so meyor amigu A.D. Davis, tuvieron que viaxar en vagones separaos nel tren, en compartimientos pa "blancos" y pa "persones de color". Al llegar a la ciudá tuvieron que caminar hasta'l teatru xuntos, pero de forma separada, tamién tuvieron que dixebrase pa ver la película y de nuevu pa volver hasta la so casa. Carter afirma que "Nun recuerdo siquier cuestionar la separación racial obligatoria, qu'aceptábamos como la respiración o como espertar en Archery cada mañana".