Llama 2: オープンファンデーションと微調整されたチャットモデル
etal.(2022)によると、いくつかのデータセット（例：BoolQなど）には、ウェブからそのまま抽出された文脈が含まれていますが、質問と回答の継続は含まれていません。 そのため、これらのデータセットからの高度に汚染されたサンプルが不当な利点を得る可能性は低いです。 Chowdheryetal.(2022)の方法論は、以前のn-gram衝突検出をさらに改善し、トレーニングデータの中で8-gramのうち70%が少なくとも一度見つかれば、サンプルを汚染されたものと見なします。
上記の以前の方法論はすべて、テキスト空間での汚染を考慮しており、実際の評価に使用されるプロンプトのフォーマットを考慮していないようです。 対照的に、私たちは代わりにトークン化された入力に一致させ、トークナイザーに完全に言葉で表現された評価サンプルを渡すことに注意しています。 また、以前の方法論とは異なり、私たちは下から上に汚染を考慮しています。 評価サンプルとトレーニングセットの両方で、トークンが10トークン以上のトークンn-gramに現れる場合、そのトークンを汚染されたものと見なし、サンプルの汚染率をトークンの割合と定義します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
etal.(2022),somedatasets(suchasBoolQ)containcontextsextractedverbatimfromtheweb,butnotthe
questionandanswercontinuation. Assuch,highlycontaminatedsamplesfromthesedatasetsareunlikely
togainanunfairadvantage. ThemethodologyinChowdheryetal.(2022)furtherimprovesontheearlier
n-gram collision detection by considering a sample to be contaminated if 70% of all 8-grams can be found at
least once in the training data.
The previous methodologies noted above all consider contamination in text space, and don’t appear to
considertheformattingofpromptsusedforactualevaluation. Incontrast,weinsteadmatchontokenized
input,beingcarefultopassfullyverbalizedevaluationsamplestothetokenizer. Wealsodivergefromthe
previous methodologies by considering contamination from a bottom-up perspective. We consider a token
tobecontaminatedifitappearsinanytoken n-gramlongerthan10tokensinboththeevaluationsample
and the training set, and deﬁne the contamination percentage of a sample to be the percentage of tokens