Scrivi una continuazione per questo paragrafo - Woolsey nacque nella contea di Leelanau, nel Michigan, il 29 agosto 1894, figlio di Byron Woolsey e Sarah Hall. Il nonno di Woolsey, Chauncey Woolsey, morì nel 1864 nella battaglia di Totopotomoy Creek
nella contea di Hanover, in Virginia, durante la Guerra Civile. Il suo bisnonno, Adolphus Woolsey, prestò servizio nella guerra del 1812. Woolsey era un discendente di George (Joris) Woolsey, colonizzatore del XVII secolo di New Amsterdam e progenitore della famiglia Woolsey in America.