James Earl Chaney lahir di Meridian, Mississippi, putra sulung Fannie Lee dan Ben Chaney, Sr. Kakaknya Ben sembilan tahun lebih muda, lahir pada tahun 1952, dan dia memiliki tiga saudara perempuan, Barbara, Janice, dan Julia.Orang tuanya berpisah untuk waktu ketika James masih muda. James bersekolah di sekolah Katolik untuk sembilan kelas pertama. adalah saudara laki-laki Ben sembilan tahun lebih muda, lahir pada tahun 1952, dan dia memiliki tiga saudara perempuan, Barbara, Janice, dan Julia. Orang tuanya berpisah untuk sementara waktu ketika James masih muda. James bersekolah di sekolah Katolik untuk sembilan kelas pertama.