section_heading: Golden State Warriors (2004. – 2006.)
paragraph_text: Fisher je nakon završetka sezone 2003./04. postao slobodan igrač. Iako je igrao vrlo važnu ulogu u momčadi Lakersa, dolaskom Garya Paytona i Karla Malone, Fisher je izgubio svoju startnu poziciju i bio razočaran igranjem nekih 18-20 minuta po utakmici. Uostalom, Lakersi su morali krenuti u obnovu momčadi. Glavni trener Phil Jackson se umirovio, Shaquille O'Neal mijenjan je u Heat, dok je Kobe Bryant razočaran odlascima ključnih igrača htio biti mijenjan u neku drugu momčad. Tijekom pregovora oko novog ugovora, Lakersi su Fisheru ponudili trogodišnji ugovor vrijedan 15 milijuna dolara. Nasuprot tome, Golden State Warriorsi ponudili su Fisheru šestogodišnji ugovor vrijedan 67 milijuna dolara i garantirali mu mjesto startnog razigravača momčadi. 16. srpnja 2004. potpisao je za Golden State kao slobodan igrač. Prve dvije sezone za Fishera bile su razočaravajuće, te je tijekom utakmica pokazao nedostatke u igri. Iako se pokazao pouzdanim šuterom kada su Kobe i Shaq bili udvojeni od strane protivničkih igrača, Fisher se u Warriorsima mučio protiv bržih i skočnijih igrača. Momčad se nastavila mučiti sa svojim omjerom i nalazila se u sredini Zapadne konferencije.