Llama 2: オープンファンデーションと微調整されたチャットモデル
安全性
図29: トリプルヒューマンレビューからの平均報酬モデルスコア対モデル応答品質評価（7段階のLikertスケール）による平均スコア。左側と右側のプロットは、それぞれ助けになるかどうかと安全性のテストセットです。影のある領域は±1標準偏差を表します。
A.3.7 ヒューマン評価
プロンプトと生成。モデルを比較するために、4000以上の単一および複数のターンの多様なセットを収集しました。私たちは、以下のカテゴリにまたがる単一ターンのプロンプトを手動で収集しました: 事実に関する質問、執筆とコンテンツ作成、言語支援、推奨事項、および対話。複数のターンのプロンプトについては、アノテーターは別のモデルと対話して複数のターンのプロンプトを生成しました。公平性を確保するために、アノテーターには4つの異なる相互作用方法を使用して複数のターンのプロンプトを収集するように求めました: (a) ChatGPTを相互作用モデルとして使用、(b) L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scを相互作用モデルとして使用、(c) ChatGPTとの間で最良の応答を選択
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Safety
Figure29: Averagerewardmodelscorevsmodelresponsequalityrating(7-pointLikertscale)fromtriple
humanreview . Theleftandrightplotsareonhelpfulnessandsafetytestsets,respectively. Theshadedareas
represent1 standard deviation.
55
A.3.7 Human Evaluation
PromptsandGenerations. Tocomparethemodels,wecollectadiversesetofover4000singleandmultiturn
prompts. Wemanuallycollectedsingleturnpromptsspanningthefollowingcategories: factualquestions,
writing and content creation, language assistance, recommendations, and dialogue. For multi-turn prompts,
annotatorsinteractedwithanothermodeltogenerateasetofmulti-turnprompts. Tohelpensurefairness,
we asked annotators to collect multi-turn prompts by using four diﬀerent interaction methods: (a) ChatGPT
astheinteractionmodel,(b) L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc astheinteractionmodel,(c)bestresponsebetweenChatGPT