Kipyego ha ottenuto il suo primo successo internazionale come junior ai Campionati mondiali di cross country dell'IAAF del 2005, dove ha vinto la medaglia d'argento nella gara junior per formare una serie di medaglie keniane, insieme ad Augustine Choge e Barnabas Kosgei. Ai Campionati del Mondo di Cross Country 2007
ha vinto la medaglia di bronzo nella gara senior, mentre la squadra keniana di cui faceva parte ha vinto la competizione a squadre. Nel 2008 ha finito decimo a livello individuale e ha vinto un'altra medaglia d'oro di squadra. Ha anche gareggiato alla Finale mondiale di atletica leggera IAAF 2008 quell'anno, prendendo l'ottavo posto nei 5000 metri in pista.