Hän muutti Argentiinaan heinäkuussa 1862. Kun presidentti-marshall Solano Lopez Paraguayn hyökkäsi Corrientesin maakuntaan vuonna 1865 siellä syttyi sodan Triple Alliance ja Kyle liittyi lääkintäjoukkojen Argentiinan armeijan apteekkihenkilökunnan kanssa arvonimi luutnantti. Hän osallistui Uruguayan piiritykseen (jossa puolustajat joutuivat elämään sokerilla), Boquerónin kolmipäiväisessä taistelussa ja Tuyutyn taistelussa.
Se oli Etelä-Amerikan historian verisin taistelu. Hän palveli sairaalaaluksella Pavón ja palasi Buenos Airesiin joulukuussa 1866 vastuussa haavoittuneiden sotilaiden saattueesta. Hänen sota-ajan kokemuksensa johtivat hänet kiinnostumaan Argentiinan Punaisen Ristin yhdistyksestä, josta hänestä tehtiin kunniajäsen vuonna 1896.