Vuonna 2002 Williamsista tuli Houston Astrosin johtaja. Kun hän toimi National Leaguen valmentajana vuoden 2004 All-Star -pelissä Houstonissa <unk> aikana, jolloin Astros kamppaili.500-tunnuksella <unk> Houstonin Minute Maid Parkin väkijoukko vastasi Williamsin käyttöönottoon selvästi sekavalla reaktiolla, toisin kuin ovatioita, joita yleensä annetaan kotijoukkueen jäsenille, jotka esitetään All-Star -pelissä. Seuraavana päivänä Astros irtisanoi Williamsin ja kaksi päävalmentajaa. Williams korvattiin Phil Garnerilla, joka johti Astrosia vuoden 2004 National League Championship Series -sarjaan.
Hän jäi yhden ottelun jäljellä Houstonille ensimmäisestä World Seriesistä. (Seuraavana vuonna Garner johti Astrosia World Series -sarjaan.) Williams sai 215 voittoa ja 197 tappiota.