Ray Charles casóse dos veces, la primera con Eileen Williams en 1951. En 1952 divorciáronse. La segunda vegada casóse con Della Beatrice Howard Robinson en 1955. El matrimoniu duró hasta 1977. Charles tuvo en total dolce fíos de diez rellaciones distintos: Evelyn Robinson, Sheila Raye Charles, Ryan Corey Robinson, Robyn Moffett, Raenee Robinson, Vincent Kotchounian, David Robinson, Robert Robinson, Ray Charles Robinson, Jr., Charles Wayne Hendricks, Reatha Butler y Alexandra Bertrand.