Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
2.3 L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle 事前学習モデルの評価
このセクションでは、L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle および L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle ベースモデル、MosaicML Pretrained Transformer(MPT)††モデル、およびFalcon(Almazroueietal.,2023)モデルの標準的な学術ベンチマークにおける結果を報告します。
すべての評価において、私たちは内部評価ライブラリを使用しています。MPTおよびFalconモデルについては、内部で結果を再現しています。これらのモデルについては、私たちの評価フレームワークと公に報告された結果のうち、常に最良のスコアを選択します。
表3では、一連の人気ベンチマーク全体のパフォーマンスをまとめています。セーフティベンチマークはセクション4.1で共有されていることに注意してください。ベンチマークは以下のカテゴリにグループ化されています。すべての個々のベンチマークの結果はセクションA.2.2で利用可能です。
•Code. 私たちのモデルのHumanEval(Chenetal.,2021)およびMBPP (Austin et al., 2021)における平均pass@1スコアを報告します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
2.3 L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle Pretrained Model Evaluation
In this section, we report the results for the L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle andL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle base models, MosaicML Pretrained
Transformer(MPT)††models,andFalcon(Almazroueietal.,2023)modelsonstandardacademicbenchmarks.
For all the evaluations, we use our internal evaluations library. We reproduce results for the MPT and Falcon
modelsinternally. Forthesemodels,wealwayspickthebestscorebetweenourevaluationframeworkand
any publicly reported results.
InTable3,wesummarizetheoverallperformanceacrossasuiteofpopularbenchmarks. Notethatsafety
benchmarks are shared in Section 4.1. The benchmarks are grouped into the categories listed below. The
results for all the individual benchmarks are available in Section A.2.2.
•Code.Wereporttheaveragepass@1scoresofourmodelsonHumanEval(Chenetal.,2021)and
MBPP (Austin et al., 2021).