Completa la seguente frase: Il 4 novembre 2012, Peralta ha firmato un contratto biennale da 6 milioni di dollari, con opzioni per il 2015 e il 2016. Andrew Friedman, il vicepresidente esecutivo delle operazioni di baseball dei Rays, ha detto di lui all'epoca: "Amiamo la competitività di Joel e l'impatto che ha sui lanciatori più giovani nel nostro bullpen". Ha fatto un record di carriera di 80 presenze nel 2013, guidando le Major e stabilendo un record del club per un lanciatore destro e la sua terza stagione consecutiva di oltre 70 presenze. Era 3-8 con un ERA di 3.41. Ha lanciato un inning senza gol nel
2013 American League Wild Card Game contro i Cleveland Indians e ha fatto due presenze senza gol nella 2013 American League Division Series contro i Boston Red Sox. Peralta è apparso in 69 partite nel 2014 ed è stato 3-4 con un ERA di 4,41.