Llama 2: オープンファンデーションとファインチューンされたチャットモデル
私たちの全データセットをトークン化する時間を含めて約7時間で処理し、推定1,500コアを利用しています。
データセットの汚染が評価パフォーマンスに寄与しているかどうかを決定する際には多くの交絡要因があります（主に、「クリーン」および「汚れた」サブセットが人口分布を適切に推定するとは限らないという事実から派生しています）。したがって、次の仮定を行います。データセットの汚染が評価パフォーマンスに寄与している場合、私たちは「最もクリーンな」例が全体的な平均スコアがその補完よりも悪いと予想し、「最も汚れた」サンプルが全体的な平均スコアがその補完よりも良いと予想します。これらのうちどちらか一方だけが真実である場合、汚染の証拠は不十分です。このため、次の4つの（互いに排他的でない）サブセットタイプを次のように定義します。
• 20％未満のトークン汚染を持つ「クリーン」サンプル、
• 20％以上のトークン汚染を持つ「クリーンでない」サンプル、
• 80％未満のトークン汚染を持つ「汚れていない」サンプル、
• 80％以上のトークン汚染を持つ「汚れた」サンプル。
私たちは直接対処しようとする追加の交絡要因があります。与えられた定義に基づいて
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
our entire dataset in around seven hours (including time to tokenize), utilizing an estimated 1,500 cores.
As there are many confounding factors at play when determining whether dataset contamination has
contributedtoevaluationperformance(mostlystemmingfromthefactthat"clean"and"dirty"subsetsdo
not necessarily well-estimate the population distribution), we make the following assumption: In the event
of dataset contamination contributing to evaluation performance, we expect both the "cleanest" examples to
haveanoverall worseaveragescorethantheircomplement,andthe"dirtiest"samplestohaveanoverall better
average score than their complement. It is insuﬃcient evidence for contamination if only one of these were
true. To this end, we deﬁne four (non-disjoint) subset types as follows:
•“Clean”samples, with less than 20% token contamination,
•“Not clean” samples, with greater than (or equal to) 20% token contamination,
•“Not dirty” samples, with less than 80% token contamination,
•“Dirty”samples, with greater than (or equal to) 80% token contamination.
Thereisanadditionalconfoundingfactorthatweattempttoaddressdirectly. Withthegivendeﬁnitionof