Clemens va sortir de la jubilació i va signar un contracte d'un any amb els Houston Astros el 12 de gener de 2004, unint-se al seu amic i ex company d'equip Andy Pettitte. El 5 de maig de 2004, Clemens va registrar el seu 4.137è strikeout de la seva carrera per situar-se en segon lloc en la llista de tots els temps darrere de Nolan Ryan. Va ser nomenat titular per a l'equip All-Star de la Lliga Nacional, però finalment va ser el llançador perdedor en aquest joc després de permetre sis carreres en cinc hits, incloent un home run de tres carreres a Alfonso Soriano. Clemens va acabar la temporada amb un rècord de 18 a 4, i va ser guardonat amb el seu setè premi Cy Young, convertint-se en el jugador més vell en guanyar el Cy Young als 42 anys. Això el va fer un dels sis pitchers que van guanyar el premi en les dues lligues, unint-se a Gaylord Perry, Pedro Martínez i Randy Johnson i més tard s'hi van unir Roy Halladay i Max Scherzer. Clemens va ser el pitcher perdedor dels Astros en el Joc 7 de la NLCS de 2004
contra els Cardinals de Saint Louis, permetent 4 punts en 6 entrades de treball. Tot i que va llançar bé, es va cansar en la sisena entrada, rendint les quatre carreres.