Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
• 人気の集約されたベンチマーク。私たちは、MMLU（5ショット）（Hendrycks et al.、2020）、Big Bench Hard（BBH）（3ショット）（Suzgun et al.、2022）、およびAGI Eval（3-5ショット）（Zhong et al.、2023）の全体的な結果を報告します。 AGI Evalでは、英語のタスクのみを評価し、平均を報告します。
表3に示されているように、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルは、L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleモデルを上回っています。特に、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle 70Bは、MMLUおよびBBHの結果をそれぞれ約5ポイント、8ポイント向上させ、L/l.sc/a.sc/m.sc/a.sc/one.taboldstyle 65Bと比較しています。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle 7Bおよび30Bモデルは、コードベンチマークを除くすべてのカテゴリで、対応するサイズのMPTモデルを上回っています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
•Popular Aggregated Benchmarks . We report the overall results for MMLU (5 shot) (Hendrycks
et al., 2020), Big Bench Hard (BBH) (3 shot) (Suzgun et al., 2022), and AGI Eval (3–5 shot) (Zhong
et al., 2023). For AGI Eval, we only evaluate on the English tasks and report the average.
As shown in Table 3, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models outperform L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle models. In particular, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle 70B improves the
resultsonMMLUandBBHby 5and8points,respectively,comparedto L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle 65B.L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle 7Band30B
modelsoutperformMPTmodelsofthecorrespondingsizeonallcategoriesbesidescodebenchmarks. Forthe