En 1996, o grupo quitó o suyo primer álbum, Die For the Government, con a discografica New Red Archives. Andy Flag deixó o grupo en verano de 1996 debito a disputas personals entre ell y Justin. Por un curto periodo de tiempo dimpués d'a salita d'Andy en 1996, Sean Whelan d'o grupo de Pittsburgh "Bad Genes" tanyó o baixo. Por ixas envueltas Sean tanyeba tamién en atro grupo (57 Defective) con o guitarrista Chris Head, a qui presentó a os miembros d'Anti-Flag.