A Guerra Civil Americana começou em 1861, quando James tinha dezoito anos. Os separatistas do Missouri, incluindo o governador Claiborne Fox Jackson, tentaram expulsar o exército da União do estado, mas foram derrotados. A família James era da parte ocidental fortemente confederada do estado. Em 13 de setembro de 1861, a Guarda do Estado de Missouri, incluindo o soldado Frank James, cercou Lexington, Missouri. James adoeceu e foi deixado para trás quando as forças confederadas recuaram. Ele se rendeu às tropas da União, foi libertado em liberdade condicional e foi autorizado a voltar para casa. Em sua chegada, no entanto, ele foi preso pela milícia pró-União local e foi forçado a assinar um juramento de fidelidade à União.