Woolsey syntyi Leelanaun piirikunnassa Michiganissa 29. elokuuta 1894. Hän oli Byron Woolseyn ja Sarah Hallin poika. Woolseyn isoisä Chauncey Woolsey kuoli vuonna 1864 Totopotomoy Creekin taistelussa.
Virginiassa sisällissodan aikana. Hänen isoisoisänsä, Adolphus Woolsey, palveli sodassa 1812. Woolsey oli George (Joris) Woolseyn jälkeläinen, joka asettui New Amsterdamiin 1700-luvulla ja oli Woolseyn perheen esivanhempi Amerikassa.