Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
•Code. 私たちは、HumanEval（Chen et al.、2021）およびMBPP（Austin et al.、2021）でのモデルの平均パス@1スコアを報告します。
•常識推論。私たちは、PIQA（Bisk et al.、2020）、SIQA（Sap et al.、2019）、HellaSwag（Zellers et al.、2019a）、WinoGrande（Sakaguchi et al.、2021）、ARC easy and challenge（Clark et al.、2018）、OpenBookQA（Mihaylov et al.、2018）、およびCommonsenseQA（Talmor et al.、2018）の平均を報告します。CommonSenseQAについては7ショットの結果を報告し、他のすべてのベンチマークについては0ショットの結果を報告します。
•世界知識。私たちは、NaturalQuestions（Kwiatkowski et al.、2019）およびTriviaQA（Joshi et al.、2017）での5ショットのパフォーマンスを評価し、平均を報告します。
•読解。読解については、SQuAD（Rajpurkar et al.、2018）、QuAC（Choi et al.、2018）、およびBoolQ（Clark et al.、2019）での0ショットの平均を報告します。
•数学。私たちは、GSM8K（8ショット）（Cobbe et al.、2021）およびMATH（4ショット）の平均を報告します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
•Code.Wereporttheaveragepass@1scoresofourmodelsonHumanEval(Chenetal.,2021)and
MBPP (Austin et al., 2021).
•CommonsenseReasoning. WereporttheaverageofPIQA(Bisketal.,2020),SIQA(Sapetal.,2019),
HellaSwag (Zellers et al., 2019a), WinoGrande (Sakaguchi et al., 2021), ARC easy and challenge
(Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), and CommonsenseQA (Talmor et al.,
2018). We report 7-shot results for CommonSenseQA and 0-shot results for all other benchmarks.
•WorldKnowledge. Weevaluatethe5-shotperformanceonNaturalQuestions(Kwiatkowskietal.,
2019) and TriviaQA (Joshi et al., 2017) and report the average.
•Reading Comprehension. For reading comprehension, we report the 0-shot average on SQuAD
(Rajpurkar et al., 2018), QuAC (Choi et al., 2018), and BoolQ (Clark et al., 2019).
•MATH. We report the average of the GSM8K (8 shot) (Cobbe et al., 2021) and MATH (4 shot)