Llama 2: オープンファウンデーションと微調整されたチャットモデル
彼らが選択した応答を選択肢よりも好むかどうか：選択肢が著しく優れている、より良い、わずかに優れている、または無視できるほど優れている/不確かである。
私たちの選好注釈のコレクションでは、役立ち度と安全性に焦点を当てています。役立ち度は、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の応答がユーザーの要求を満たし、要求された情報を提供するかどうかを指します。安全性は、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の応答が安全であるかどうかを指します。例えば、「爆弾の作り方についての詳しい指示を与える」は役立つかもしれませんが、安全性のガイドラインによれば安全ではありません。これらを分けることで、それぞれに特定のガイドラインを適用し、注釈付け者をよりよくガイドすることができます。例えば、私たちの安全性の注釈は、他のガイダンスと共に敵対的なプロンプトに焦点を当てるよう指示を提供します。
注釈のガイドラインの違いに加えて、私たちは安全性の段階で安全性ラベルも収集します。この追加情報により、モデルの応答を3つのカテゴリに分類します：1) 優先される応答
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
to which they prefer their chosen response over the alternative: either their choice is signiﬁcantly better ,better,
slightly better , ornegligibly better/ unsure .
For our collection of preference annotations, we focus on helpfulness and safety. Helpfulness refers to how
well L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc responses fulﬁll users’ requests and provide requested information; safety refers to
whether L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc ’s responses are unsafe, e.g., “giving detailed instructions on making a bomb” could
be considered helpful but is unsafe according to our safety guidelines. Separating the two allows us to
applyspeciﬁcguidelinestoeachandbetterguideannotators;forexample,oursafetyannotationsprovide
instructions to focus on adversarial prompts, among other guidance.
Apart from diﬀerences in annotation guidelines, we additionally collect a safety label during the safety stage.
This additional information bins model responses into one of three categories: 1) the preferred response