Nabilog an banda sa pag'oltan kan 1998 asin 2002, si Yemael "Yael" Yuzon and Reynaldo "Gosh" Dilay (kapwa hali sa Ateneo de Manila High School) nagtiripon sa paagi kan atre guild kan eskwelahan, Teatro Baguntao. Nagdesisyon si Yuzon na magbilog nin banda kaiba si Dilay asin an duwa pang miembro kan Teatro Baguntao. Pinangaranan ninda an grupo na Sponge pagkatapos kan R.S. Surtees' Mr. Sponge Sporting Tour, asin nanggana an banda sa nagkapirang kompetisyon sa hayskul na binubuo an saindang popularidad sa mga kampus asin sa iba pang eskwelahan.