ラマ2：オープンファンデーションと微調整されたチャットモデル
私たちが直接取り組もうとする追加の混乱要因があります。 汚染の定義（および文献で言及されている他の定義）によれば、サンプルには可能性があります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Thereisanadditionalconfoundingfactorthatweattempttoaddressdirectly. Withthegivendeﬁnitionof
contamination(aswellasotherdeﬁnitionsmentionedintheliterature),thereisapossibilitythatasample
75
Dataset Model Subset Type Avg. Contam. % n X nZn
HellaSwag ( L= 40)70BClean 0 7391 80.0 82.5 -5.73
Not Clean 67.5 2651 89.5 82.4 9.56
Not Dirty 11.5 9194 81.6 82.5 -2.27
Dirty 86.1 848 92.2 82.5 7.42
7BClean 0 7391 70.5 73.3 -5.46
Not Clean 67.5 2651 81.3 73.4 9.17
Not Dirty 11.5 9194 72.4 73.4 -2.06
Dirty 86.1 848 83.7 73.3 6.84
MMLU-Humanities ( L= 50)70BClean 0.05 3996 62.2 65.3 -4.08
Not Clean 85.12 709 82.7 65.3 9.71
Not Dirty 2.73 4185 62.7 65.3 -3.50