Gossage suuttui Yankeesin omistajalle George Steinbrenneriin. Vuonna 1982 hän kutsui Steinbrenneria "paksuksi mieheksi yläkerrassa" ja kielsi sitä, miten Yankeesin manager Billy Martin käytti häntä hyväkseen. Gossageista tuli vapaa agentti vuoden 1983 kauden jälkeen, ja hän vaati, ettei hän eroaisi New Yorkin kanssa. Hän allekirjoitti San Diegon Padresin kanssa. Vuonna 1984 Gossage voitti toisen mestaruuden.
Sen jälkeen kun San Diego oli tehnyt neljä juoksua seitsemännessä inningissä ottaakseen 6-3 johdon Chicago Cubsia vastaan, Gossage syöttänyt viimeiset kaksi inningia, saaden Jody Davisin lyömään voimapelin lopulliseen ulos. Vuonna 1984 Detroit Tigersia vastaan käydyssä World Series -ottelun viidennessä pelissä Gossage kieltäytyi kävelemästä oikealla kentällä pelaavaa Kirk Gibsonia. Gossage ja Padres katuivat päätöstään, kun Gibson syöksyi oikealle kentälle. Se johti Detroit Tigersin voittoon. Elokuun 17. päivänä Gossage lyöti Pete Rosen viimeisessä Major League -ottelussa.