Kipyego lần đầu tiên nổi bật quốc tế đến như là một học sinh tại
2005 IAAF World Cross Country Championships, nơi anh giành huy chương bạc trong cuộc đua trẻ để tạo thành một cú quét huy chương của Kenya, cùng với Augustine Choge và Barnabas Kosgei. Tại Giải vô địch xuyên quốc gia thế giới năm 2007, anh đã giành huy chương đồng trong cuộc đua cao cấp, trong khi đội tuyển Kenya mà anh là một phần đã giành chiến thắng trong cuộc thi đội. Năm 2008, anh kết thúc vị trí thứ mười cá nhân và giành được một huy chương vàng nhóm khác. Ông cũng tham gia vào trận chung kết điền kinh thế giới năm 2008 của IAAF trong năm đó, đứng thứ tám trong 5000 mét trên đường đua.