Llama 2: オープンファンデーションと微調整されたチャットモデル、およびトレーニングセットを使用し、サンプルの汚染率をトークンの汚染率と定義します。これにより、汚染スケールの範囲でモデルのベンチマークパフォーマンスを表示できる一方で、高精度なクリーンサブセット（<20％の汚染を持つサンプル）と高精度な汚染サブセット（>80％の汚染を持つサンプル）をテストできます。口頭サンプルの正確な形式の変動を考慮するために、4つのトークンの小さな「skipgram予算」を許可し、評価サンプルとトレーニングデータ間の一致したスパンが最大で4つの位置で異なることができます（トレーリングの不一致や最初の10トークンの不一致は許可しません）。このような10（+）-skipgramを、Lee et al.（2022）のライブラリの変形を使用して実装されたサフィックス配列で特定し、PySparkクラスターで動作するように変更しました（実質的にディスクへのランダムアクセスなしで）。タスクの驚くほど並列な性質を考慮して、推定1,500コアを利用して、データセット全体でこのような10-gram（およびその全長）を約7時間で見つけることができます（トークン化にかかる時間を含む）。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
and the training set, and deﬁne the contamination percentage of a sample to be the percentage of tokens
contaminated. Thisallowsustoviewthebenchmarkperformanceofourmodelsonarangeofcontamination
scales, while retaining the ability to test a high-precision clean subset (samples with <20%contamination)
and a high-precision contaminated subset (samples with >80%contamination). In order to account for the
vagaries of the precise format of verbalized samples, we allow a small "skipgram budget" of four tokens, so
that matchedspans between anevaluation sampleand the trainingdata can diﬀerin at mostfour positions
(we do not allow trailing mismatches, or mismatches in the ﬁrst 10 tokens).
We identify such 10(+)-skipgrams with suﬃx arrays implemented using a variation of the library from Lee
etal.(2022),modiﬁedtoworkonaPySparkcluster(eﬀectivelywithoutrandomaccesstodisk). Giventhe
embarrassinglyparallelnatureofthetask,weareabletoﬁndallsuch10-grams(andtheirfulllengths)in
our entire dataset in around seven hours (including time to tokenize), utilizing an estimated 1,500 cores.