Nasce a Port Hope, Ontario, Upper Canada, Belnap, nipote del veterano della guerra d'indipendenza americana Jesse Belnap, rimase orfano all'età di 10-12 anni. Unendosi a una compagnia americana di cavalli leggeri come primo sergente, fu preso come prigioniero di guerra nella ribellione dell'Alto Canada
- No, no. Dopo essere stato rilasciato, alla fine si recò a Kirtland, nell'Ohio, dove fu battezzato come membro della Chiesa di Gesù Cristo dei Santi degli Ultimi Giorni nel 1842. Poco dopo il suo battesimo, servì come missionario con John P. Greene nel nord dello stato di New York.