Llama 2: オープンファンデーションとファインチューンされたチャットモデル
•MATH. 私たちは、GSM8K（8ショット）（Cobbe et al.、2021）とMATH（4ショット）（Hendrycks et al.、2021）のベンチマークの平均を報告します。
∗∗https://sustainability.fb.com/2021-sustainability-report/
††https://www.mosaicml.com/blog/mpt-7b
7
モデルサイズ コード コモンセンス 推論 ワールドナレッジ 読解 数学 MMLU BBH AGI 評価
MPT7B 20.5 57.4 41.0 57.5 4.9 26.8 31.0 23.5
30B 28.9 64.9 50.0 64.7 9.1 46.9 38.0 33.8
Falcon7B 5.6 56.1 42.8 36.0 4.6 26.2 28.0 21.2
40B 15.2 69.2 56.7 65.7 12.6 55.4 37.1 37.0
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 14.1 60.8 46.2 58.5 6.95 35.1 30.3 23.9
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
•MATH. We report the average of the GSM8K (8 shot) (Cobbe et al., 2021) and MATH (4 shot)
(Hendrycks et al., 2021) benchmarks at top 1.
∗∗https://sustainability.fb.com/2021-sustainability-report/
††https://www.mosaicml.com/blog/mpt-7b
7
Model Size CodeCommonsense
ReasoningWorld
KnowledgeReading
ComprehensionMath MMLU BBH AGI Eval
MPT7B 20.5 57.4 41.0 57.5 4.9 26.8 31.0 23.5
30B 28.9 64.9 50.0 64.7 9.1 46.9 38.0 33.8
Falcon7B 5.6 56.1 42.8 36.0 4.6 26.2 28.0 21.2
40B 15.2 69.2 56.7 65.7 12.6 55.4 37.1 37.0
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 14.1 60.8 46.2 58.5 6.95 35.1 30.3 23.9