Si Hubert James Taffin de Givenchy namundag kan 20 Pebrero 1927 sa Beauvais, Oise sa sarong pamilyang Protestante. Siya an ngohod na aki ni Lucien Taffin de Givenchy, Marquis of Givenchy (1888-1930), asin kan saiyang agom, an dating Béatrice (Sissi) Badin (1888-1976). An pamilyang Taffin de Givenchy, na sinususog an angkan kaini sa Venice, Italya (an orihinal na apelyido iyo an Taffini), nadukayan kan 1713, na kun saen an payo kan pamilya nagin Marquis of Givenchy. Igwa siya nin matuang tugang na lalaki, si Jean-Claude de Givenchy (1925-2009), na nagmana sa estado  kan pamilya asin sa huri nagin presidente kan Parfums Givenchy.