ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
MPT MosaicML NLPチームら（2023年）、Vicuna Chiangら（2023年）、およびクローズドソースモデル（ChatGPT（OpenAI、2023年）およびPaLMAniら（2023年））を使用して、4,000以上の単一および複数のターンのプロンプトで評価しました。ChatGPTについては、すべての世代でgpt-3.5-turbo-0301モデルを使用しています。PaLMについては、すべての世代でchat-bison-001モデルを使用しています。各モデルの人間評価の最終プロンプト数は表32に示されています。方法論の詳細については、付録のセクションA.3.7を参照してください。次のセクションでは、有用性の結果が示されます。安全性の結果はセクション4.4で提示されています。
結果。図12に示すように、L/l.sc/a.sc/m.sc/a.sc/t.sc/two.taboldstyle-C/h.sc/a.sc/t.scモデルは、単一ターンおよび複数ターンのプロンプトの両方でオープンソースモデルを大幅に上回っています。特に、L/l.sc/a.sc/m.sc/a.sc/t.sc/two.taboldstyle-C/h.sc/a.sc/t.sc 7Bモデルは、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
MPT MosaicML NLP Team et al. (2023), Vicuna Chiang et al. (2023), as well as closed-source models (ChatGPT(OpenAI,2023)andPaLMAniletal.(2023))onover 4;000singleandmulti-turnprompts. ForChatGPT,
weuse gpt-3.5-turbo-0301 modelinallgenerations. ForPaLM,weusethe chat-bison-001 modelinall
generations. TheﬁnalpromptcountforhumanevaluationsforeachmodelisshowninTable32. Seemore
methodology details in Appendix, Section A.3.7. The following section shows helpfulness results; safety
results are presented in Section 4.4.
Results. AsshowninFigure12, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc modelsoutperformopen-sourcemodelsbyasigniﬁcant
margin on both single turn and multi-turn prompts. Particularly, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 7B model outperforms