Nabilog an banda sa pagoltan kan 1998 asin 2002, si Yemael Yael Yuzon and Reynaldo Gosh Dilay (kapwa hali sa Ateneo de Manila High School) nagtiripon sa paagi kan atre guild kan eskwelahan, Teatro Baguntao. Nagdesisyon si Yuzon na magbilog nin banda kaiba si Dilay asin an duwa pang miembro kan Teatro Baguntao. Pinangaranan ninda an grupo na Sponge pagkatapos kan R.S. Surtees Mr. Sponge Sporting Tour, asin nanggana an banda sa nagkapirang kompetisyon sa hayskul na binubuo an saindang popularidad sa mga kampus asin sa iba pang eskwelahan.