Va néixer el 20 de juny de 1937, fill del capità John Davidson Hill Hoyt (1898<unk>1943), que va servir amb el 307è Grup de Bombarders, 372d Esquadró de Bombarders i va morir en un accident a la costa de Kauai, illes hawaianes. Els seus avis paters eren William B. Hoyt, un executiu de la Pierce-Arrow Motor Car Company, i Esther Lapham (née Hill) Hoyt. La seva tia, Esther Hoyt, era l'esposa d'Ansley Wilcox Sawyer, un nebot d'Ansley Wilcox (un amic de Theodore Roosevelt la casa del qual a Delaware Avenue va ser el lloc de la inauguració de Roosevelt després de l'assassinat
del president William McKinley).