ラマ2：オープンファンデーションと微調整されたチャットモデル
Not Clean 85.12 709 82.7 65.3 9.71
Not Dirty 2.73 4185 62.7 65.3 -3.50
Dirty 94.5 520 85.8 65.3 9.80
7BClean 0.05 3996 40.8 42.9 -2.75
Not Clean 85.2 709 54.9 42.8 6.50
Not Dirty 2.73 4185 41.1 42.9 -2.25
Dirty 94.5 520 56.9 42.8 6.49
MMLU-Overall ( L= 50) 70BClean 0.02 11862 68.0 68.9 -2.00
Not Clean 84.7 2180 73.5 68.9 4.64
Not Dirty 3.18 12506 67.7 68.9 -2.75
Dirty 94.4 1536 78.2 68.9 7.87
Table 51: 汚染分析結果は影響を受けたデータセットについて示しています。他の評価データセットには十分な証拠がなく、汚染によって影響を受けたと見なされることはありませんでした。Avg. Contam. % は、指定されたサブセットタイプのサンプルごとの平均汚染率を示しています。モデルサイズは、事前学習のみのモデルに関連しており、トレーニングで見つかった一致するシーケンス内の多くのトークンが含まれているため、汚染されている可能性があります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Not Clean 85.12 709 82.7 65.3 9.71
Not Dirty 2.73 4185 62.7 65.3 -3.50
Dirty 94.5 520 85.8 65.3 9.80
7BClean 0.05 3996 40.8 42.9 -2.75
Not Clean 85.2 709 54.9 42.8 6.50
Not Dirty 2.73 4185 41.1 42.9 -2.25
Dirty 94.5 520 56.9 42.8 6.49
MMLU-Overall ( L= 50) 70BClean 0.02 11862 68.0 68.9 -2.00
Not Clean 84.7 2180 73.5 68.9 4.64
Not Dirty 3.18 12506 67.7 68.9 -2.75
Dirty 94.4 1536 78.2 68.9 7.87
Table 51: Contamination analysis results for aﬀected datasets. No other evaluation datasets had suﬃcient
evidence to be considered aﬀected by contamination. Avg. Contam. % denotes the average per-sample
contamination percentage for the given subset type. Models sizes refer to pretrained-only models
may appear contaminated, by virtue of many tokens appearing in matched sequences found in the training