Nel marzo 2004 Gebremariam ha dimostrato di essere completamente progredito dai ranghi junior vincendo due medaglie d'argento ai Campionati mondiali di cross country
In sostanza, se non fosse stato per il suo connazionale Kenenisa Bekele, sarebbe stato uno degli unici due uomini ad aver mai conquistato vittorie a breve e lungo termine negli stessi campionati. È stato selezionato per la squadra etiopica dei 5000 metri alle Olimpiadi estive insieme a Kenenisa Bekele e Dejene Berhanu, dove ha finito quarto, a 0,25 secondi dal medaglia di bronzo Eliud Kipchoge del Kenya.