En 1898, Rynning va descobrir que la guerra amb Espanya havia començat i que el seu vell amic, el coronel Leonard Wood, estava organitzant un regiment de cavalleria voluntària, que més tard es va conèixer com els Rough Riders de Theodore Roosevelt. Es va enrolar com a soldat i va tornar de la guerra com a segon tinent a la Tropa B, 1r Regiment de Cavalleria Voluntària dels Estats Units. Durant la Batalla dels Alts de San Juan
Rynning va prendre el comandament de la línia americana després de la mort del capità Buckey O'Neill. Uns minuts més tard va conduir els Rough Riders a Kettle Hill i va ser el primer americà a arribar a la cimera. Sota el fort foc de la propera muntanya de San Huan, Rynning va ordenar als seus homes que aixequessin la bandera del regiment per reunir als altres i va ser durant aquest temps que la bandera va ser mal perforada. La bandera ara és conservada pel Departament de Biblioteques i Arxius a l'edifici del Capitoli de l'estat a Phoenix, Arizona. Després d'això, Rynning es va unir a Theodore Roosevelt en la càrrega de San Juan Hill, que va acabar la batalla amb una victòria americana.