Clemens tuli eläkkeelle ja allekirjoitti vuoden sopimuksen - adoptoidun kotikaupunkinsa Houston Astrosin kanssa 12. tammikuuta 2004, liittyen läheiseen ystäväänsä ja entiseen Yankeesin tiimikumppaninsa Andy Pettitteen. 5. toukokuuta 2004 Clemens teki 4.137:nnen strikeoutin urallaan ja sijoittui toiseksi kaikkien aikojen listalla Nolan Ryanin jälkeen. Hänet nimitettiin National League All-Star -joukkueeseen, mutta lopulta hän oli häviävä syöttäjä siinä pelissä, kun hän antoi kuusi juoksua viidellä osulla, mukaan lukien kolmen juoksun kotipeli Alfonso Sorianolle. Clemens lopetti kauden 18-4 ennätyksellä ja sai seitsemännen Cy Young -palkintonsa, jolloin hänestä tuli vanhin pelaaja, joka on koskaan voittanut Cy Youngin 42-vuotiaana. Tämä teki hänestä yhden kuudesta syöttäjästä, jotka voittivat palkinnon molemmissa liigoissa, liittyen Gaylord Perryyn, Pedro Martíneziin ja Randy Johnsonin ja myöhemmin Roy Halladayn ja Max Scherzerin. Clemens oli Astrosin hävinnyt syöttäjä.
2004 NLCS St. Louis Cardinalsia vastaan, antanut 4 juoksua 6 inningsissä. Vaikka hän heitti hyvin, hän väsyi kuudennessa erässä antaen kaikki neljä juoksua.