Woolsey Leelanau konderrian jaio zen, Michigan, 1894ko abuztuaren 29an, Byron Woolsey eta Sarah Hallen semea. Woolseyren aitona, Chauncey Woolsey, 1864an hil zen Totopotomoy errekako guduan
Hanover konderrian, Virginian, gerra zibilaren garaian. Bere birraitonak, Adolphus Woolseyk, 1812ko Gerran zerbitzatu zuen. Woolsey George (Joris) Woolseyren ondorengoa zen, Amsterdam Berriko XVII. mendeko kolonoa eta Ameriketako Woolsey familiaren arbasoa.