Từ năm 1881 đến năm 1891, Gaston phục vụ ở biên giới, chủ yếu liên quan đến các hành động quân sự chống lại người Apache và Sioux. Ông tham gia vào cuộc chiến tranh Tây Ban Nha - Mỹ, phục vụ ở Cuba từ năm 1899 đến năm 1902, và sau đó ông đến Philippines. Gaston chỉ huy các trại cứu trợ vĩnh viễn sau trận động đất San Francisco năm 1906. Ông tốt nghiệp Đại học Chiến tranh Quân đội Hoa Kỳ vào năm 1912, và giữa tháng 11 năm 1913 và tháng 4 năm 1914, sau khi đi lại Philippines lần nữa giữa năm 1908 và 1910, ông chỉ huy Trường Kỵ binh tại Fort Riley. Gaston sau đó đã chỉ huy Trung đoàn kỵ binh thứ 6 và phục vụ tại biên giới với Mexico và trong Chuyến thám hiểm Pancho Villa
trong khả năng đó.