Floyd vietti lapsuutensa perheensä plantaasilla, Fairfieldissä Camdenin piirikunnassa. Kun hän kypsyi, hän seurasi isänsä jalanjälkiä ja palveli Georgian joukkojen kapteenina
Toinen seminolisota ja julkisen palveluksen aloittaminen piirikunnan seriffinä. Toisen seminolien sodan jälkeen Floyd muutti St. Augustiniin Floridaan ja työskenteli piirustusmiehenä ennen siirtymistään hoitamaan plantaasia St. Johnin piirikunnassa Floridassa.