Llama 2: オープンファンデーションと微調整されたチャットモデル
人間の評価については、人間の評価にはいくつかの制限があることを考慮することが重要です。
• 学術および研究の基準によれば、4kのプロンプトの大きなセットを持っています。ただし、これはおそらく多くのユースケースをカバーするであろうこれらのモデルの実世界での使用をカバーしていません。
• プロンプトの多様性は、結果に影響を与える別の要因となり得ます。たとえば、私たちのプロンプトセットには、コーディングや推論に関連するプロンプトが含まれていません。
• 私たちは、マルチターンの会話の最終生成のみを評価しています。より興味深い評価は、モデルにタスクを完了させるように求め、複数のターンにわたるモデルとの全体的な体験を評価することです。
• 生成モデルの人間評価は、本質的に主観的でノイズが多いです。その結果、異なるプロンプトセットや異なる指示での評価は、異なる結果につながる可能性があります。
19
4 安全性
警告：このセクションには、不安全、攻撃的、または不快とされるテキストの例が含まれています。
このセクションでは、安全性の測定と緩和の重要なトピックについて詳しく説明します。まず、事前トレーニングデータおよび事前トレーニングモデルへの安全性調査について説明します（セクション4.1）。次に、私たちは
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
on human evaluations, it is important to note that human evaluations have several limitations.
•Byacademicandresearchstandards,wehavealargepromptsetof4kprompts. However,itdoesnotcover
real-world usage of these models, which will likely cover a signiﬁcantly larger number of use cases.
•Diversity of the prompts could be another factor in our results. For example, our prompt set does not
include any coding- or reasoning-related prompts.
•We only evaluate the ﬁnal generation of a multi-turn conversation. A more interesting evaluation could be
to ask the models to complete a task and rate the overall experience with the model over multiple turns.
•Humanevaluationforgenerativemodelsisinherentlysubjectiveandnoisy. Asaresult,evaluationona
diﬀerent set of prompts or with diﬀerent instructions could result in diﬀerent results.
19
4 Safety
WARNING: this section contains examples of text that may be considered unsafe, oﬀensive, or upsetting.
In this section, we dive deeper into the important topic of safety measurements and mitigations. We ﬁrst
discussoursafetyinvestigationsintopretrainingdataandpretrainedmodels(Section4.1). Next,wedescribe