L'elegante Lawford esfrutó d'una reputación como un playboy del jet set y por ser un gran bebedor. En 1954 casóse con Patricia Kennedy, hermana del entós senador John F. Kennedy. La pareya tuvo cuatro fíos, Chris, Sydney, Victoria y Robin. Dambos divorciáronse en 1966 dempués de que Lawford almitiera tener aventures amoroses. En 1971 casóse con Mary Rowan, la fía del comediante Dan Rowan, pero'l matrimoniu namái duró ocho meses. En 1975, casóse con Deborah Gould, y el matrimoniu namái duró dos meses. En xunetu de 1984 casóse con Patricia Seaton dempués d'un novialgu de nueve años.