Floyd vietti lapsuutensa perheensä plantaasilla, Fairfieldillä Camdenin piirikunnassa. Kun hän kypsyi, hän seurasi isänsä jalanjälkiä ja palveli Georgian joukkojen kapteeninä toisessa seminolien sodassa
Ja astuu julkiseen palvelukseen piirikunnan seriffinä. Toisen seminolien sodan jälkeen Floyd muutti St. Augustiniin Floridaan ja työskenteli piirustusmiehenä ennen siirtymistään hoitamaan plantaasia St. Johnin piirikunnassa Floridassa.