Kan Enero 14, 1900, si Lee namundag sa 13 Mott Street sa Chinatown, Manhattan, New York City. An mga magurang ni Lee iyo sinda Lee Yick Dep asin Ng Lan Yin (apod man, Ng She); si Lee iyo an pinakamatua asin ta siya may 14 mga tugang. Siya nagdakula sa 32 Mott Street sa itaas kan tindahan nin pamilya ninda sa Chinatown sa New York City.