Ông đã kết hôn với người vợ đầu tiên Clarissa Luard từ năm 1976 đến năm 1987 và có một con trai, Zafar (sinh năm 1979). Ông rời bỏ bà vào giữa những năm 80 cho nhà văn Úc Robyn Davidson, người mà ông được giới thiệu bởi người bạn chung của họ là Bruce Chatwin. Vợ thứ hai của ông là tiểu thuyết gia người Mỹ Marianne Wiggins; họ kết hôn vào năm 1988 và ly dị vào năm 1993. Vợ thứ ba của ông, từ năm 1997 đến năm 2004, là Elizabeth West; họ có một con trai, Milan (sinh năm 1997). Năm 2004, ông kết hôn với người Mỹ gốc Ấn Độ Padma Lakshmi, nữ diễn viên, người mẫu và người dẫn chương trình truyền hình thực tế Mỹ Top Chef. Cuộc hôn nhân kết thúc vào ngày 2 tháng 7 năm 2007.
2 tháng 7 năm 2007