Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
両バリアントは非常に似たように振る舞いました（MQAはFFN次元がわずかに大きいだけです）。
A.2.2 事前学習モデル評価の追加詳細
MMLUの詳細。表19では、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルおよびその他のオープンソースモデルのMMLU（Hendrycks et al.、2020）評価の詳細を報告しています。
標準ベンチマーク。表20では、いくつかの標準ベンチマークの結果を示しています。
コード生成。表21では、Human-EvalおよびMBPPコード生成ベンチマークで、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleの結果を人気のあるオープンソースモデルと比較しています。
世界の知識。NaturalQuestionsおよびTriviaQAベンチマーク（表22）で、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルを他のオープンソースモデルと一緒に評価しています。
読解。表23では、SQUADのゼロショットおよびフューショットの結果、およびQUACのゼロショットおよびワンショットの実験結果を報告しています。ここで、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleはすべての評価設定およびモデルで最も優れた結果を示しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
the two variants behaved very similar (with MQA just having a slightly larger FFN dimension).
A.2.2 Additional Details for Pretrained Models Evaluation
MMLU details. In Table 19, we report details of the MMLU (Hendrycks et al., 2020) evaluation for L/l.sc/a.sc/m.sc/a.sc
/two.taboldstylemodels and others open-source models.
Standard Benchmarks. In Table 20, we show results on several standard benchmarks.
Code Generation. In Table 21, we compare results of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle with popular open source models on the
Human-Eval and MBPP code generation benchmarks.
World Knowledge. We evaluate the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle model together with other open-source models on the NaturalQuestions and TriviaQA benchmarks (Table 22).
ReadingComprehension InTable23wereportzero-shotandfew-shotresultsonSQUADandzero-shot
and one-shot experiments on QUAC. Here L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle performs best on all evaluation settings and models