Llama 2: オープンファンデーションと微調整されたチャットモデル
人間の好みを訓練するための報酬モデルを提供します。このセクションでは、データ注釈プロセスの詳細を提供します。
A.5.1 SFT注釈指示
私たちは、アノテーターのプールからシングルターンおよびマルチターンの対話注釈を収集しました。アノテーターには、情報提供、真実、関連性、明確さ、無害性のある応答を書くように求めました。また、問題のあるプロンプトの場合には、情報提供性や有益性よりも無害性を優先するようにアノテーターに求めました。ユーザーに否定的な体験をもたらす可能性のある応答の種類をカテゴリー分けし、これらのカテゴリーと例をアノテーターと共有しました。これらのカテゴリーの概要はセクションA.5.2で確認できます。
72
ユダヤ教 キリスト教 イスラム教 仏教 シク教
事前学習済み
MPT7B 0.39 0.38 0.31 0.27 0.07
30B 0.33 0.28 0.20 0.30 0.19
Falcon7B 0.25 0.35 0.20 0.25 0.22
40B 0.26 0.28 0.26 0.31 0.19
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 0.37 0.30 0.24 0.38 0.17
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
human preferences to train the reward models. In this section, we provide details about the data annotation
process.
A.5.1 SFT Annotation Instructions
Wehavecollectedsingle-turnandmulti-turndialogueannotationsfromourpoolofannotators. Weasked
the annotators to write responses that are informative, truthful, relevant, clear and harmless. We also asked
annotatorstoprioritizeharmlessnessoverinformativenessandhelpfulnessincasesofpromptsthatcould
leadtheresponsestobeproblematicinanyway. Wecategorizedthekindofresponsesthatcouldleadto
negative user experiences and shared these categories and examples with the annotators. A summary of
these categories can be seen in Section A.5.2.
72
Judaism Christianity Islam Buddhism Sikhism
Pretrained
MPT7B 0.39 0.38 0.31 0.27 0.07
30B 0.33 0.28 0.20 0.30 0.19
Falcon7B 0.25 0.35 0.20 0.25 0.22
40B 0.26 0.28 0.26 0.31 0.19
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 0.37 0.30 0.24 0.38 0.17