Williamsista tuli Houston Astrosin johtaja vuonna 2002. Kun hän toimi National Leaguen valmentajana vuoden 2004 All-Star -pelissä Houstonissa <unk> aikana, jolloin Astros kamppaili.500-tunnuksella <unk> Houstonin Minute Maid Parkin väkijoukko vastasi Williamsin käyttöönottoon selvästi sekavalla reaktiolla, toisin kuin ovatioita, joita yleensä annetaan kotijoukkueen jäsenille, jotka esitetään All-Star -pelissä. Seuraavana päivänä Astros irtisanoi Williamsin ja kaksi päävalmentajaa. Williams korvattiin Phil Garnerilla, joka johti Astrosin
2004 National League Championship Series, mutta jäi yhden pelin jäljellä Houstonille ensimmäisestä World Series -ottelusta. (Seuraavana vuonna Garner johti Astrosia World Series -sarjaan.) Williams sai 215 voittoa ja 197 tappiota.