Llama 2: オープンファンデーションと微調整されたチャットモデル
中心極限定理によれば、Zは標準正規分布に収束し、したがって、すべての4つのサンプルサブセットが|Z|>2の場合、データセットの評価パフォーマンスに汚染が影響を与えた可能性があると推測する十分な証拠があると考えます。
この分析の結果は表51に示されています。私たちは、HellaSwagとMMLU-Humanitiesだけがトレーニングデータの汚染によってブーストされたように見え、70Bモデルが7Bモデルよりも大きな利益を得たように見えます。さらに、この影響がMMLU-Humanitiesに及ぼす影響は、70BモデルのMMLU-Overallに利益をもたらすように見えますが、"クリーン"サブセットのパフォーマンスとサンプリング平均との間にはわずかなデルタ（-0.9）しかありません。他のデータセット（任意のLの選択に対して）は、データセットの汚染から利益を得たようには見えず、簡潔さのためにこれらのデータセットの結果を省略します。
76
A.7 モデルカード
表52は、モデルの詳細を要約するモデルカード（Mitchell et al., 2018; Anil et al., 2023）を示しています。
モデルの詳細
モデル開発者 メタAI
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
BytheCentralLimitTheorem, Zntendstowardsastandardnormaldistributionandsoweconsiderthere
issuﬃcientevidencetosuggestcontaminationhasaﬀectedevaluationperformanceonadatasetifallfour
sample subsets have jZnj>2.
ResultsforthisanalysiscanbeseeninTable51. WeobservethatonlyHellaSwagandMMLU-Humanities
appear to have been boosted due to contamination in the training data, with the 70B model appearing to
have gained a greater beneﬁt than the 7B model, as one might expect. Furthermore, the impact of this eﬀect
onMMLU-HumanitiesappearstocauseabeneﬁtforMMLU-Overallforthe70Bmodel,albeitwithonlya
small delta (-0.9) between the "clean" subset performance and the sampling mean. No other dataset (for any
choice ofL) appears to have beneﬁtted from dataset contamination, and we omit results from these datasets
for conciseness.
76
A.7 Model Card
Table 52 presents a model card (Mitchell et al., 2018; Anil et al., 2023) that summarizes details of the models.
Model Details
Model Developers Meta AI