Frusciante escribió una serie de cancions entre y dimpués de la chira By the Way. En febrero de 2004, empecipió un prochecto con Joe Lally (de Fugazi) y Josh Klinghoffer clamau Ataxia. En dos semanas, o grupo gravó aproximadament 90 menutos de mosica. Dimpués de dos días de gravacions en o estudio, a banda tocó dos conciertos en o Knitting Factory d'Hollywood, y pasoron dos días mas en o estudio antes de disolver-se. Mas tarde, encara en 2004, amaneixioron cinco cancions de Frusciante en a banda sonora d'a cinta The Brown Bunny.