Viết tiếp cho đoạn này - đỉnh cao của mùa giải của anh ấy đến tại Thế vận hội Athens 2004, nơi anh ấy trở thành người đầu tiên trong lịch sử thể thao Eritrea giành huy chương Olympic. Zersenay đã giành huy chương đồng trong giải đua 10.000 mét tại Thế vận hội Mùa hè 2004 tại Athens, Hy Lạp sau Kenenisa Bekele và Sileshi Sihine. Hiệu suất 27
một vài ngày sau đó, làm nổi bật các tiêu chuẩn cải thiện của đất nước. Zersenay đã kết thúc Thế vận hội đầu tiên của mình bằng cách đạt đến một trận chung kết khác: anh đã đứng thứ bảy trong cuộc đua 5.000 mét nam, khẳng định vị trí của mình là một vận động viên chạy bộ đẳng cấp thế giới.