El so padre, William Howard Duvall, foi almirante na Armada de los Estaos Xuníos, procedente duna familia de raigaños franceses; la so madre foi una actriz aficionada descendiente del xeneral Robert E. Lee.