Llama 2: オープンファンデーションと微調整されたチャットモデル
人間の好みと指示に従う行動。我々は、実証的に人間の好みを表すデータを収集し、人間の注釈者が2つのモデル出力のうちどちらを好むかを選択する。この人間のフィードバックはその後、報酬モデルのトレーニングに使用され、人間の注釈者の好みのパターンを学習し、その後好みの決定を自動化する。3.2.1 人間の好みデータ収集
次に、報酬モデリングのために人間の好みデータを収集する。我々は他の方法よりもバイナリ比較プロトコルを選択した。これは、収集されるプロンプトの多様性を最大化することができるためである。他の戦略も検討に値するが、それは将来の作業に任せる。我々の注釈手順は以下の通りである。注釈者にまずプロンプトを書いてもらい、その後、提供された基準に基づいて2つのサンプルされたモデルの応答から選択するように求める。多様性を最大化するために、特定のプロンプトへの2つの応答は、2つの異なるモデルの変種からサンプリングされ、温度ハイパーパラメータが異なる。強制的な選択を参加者に求めるだけでなく、選択された応答が他の選択肢よりもかなり良い、良い、わずかに良い、または無視できるほど良い/不確かであるかを注釈者にラベル付けする。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
behavior with human preferences and instruction following. We collect data that represents empirically
9
sampled human preferences, whereby human annotators select which of two model outputs they prefer.
This human feedback is subsequently used to train a reward model, which learns patterns in the preferences
of the human annotators and can then automate preference decisions.
3.2.1 Human Preference Data Collection
Next, wecollect human preference datafor reward modeling. We chose a binarycomparison protocol over
other schemes, mainly because it enables us to maximize the diversity of collected prompts. Still, other
strategies are worth considering, which we leave for future work.
Our annotation procedure proceeds as follows. We ask annotators to ﬁrst write a prompt, then choose
betweentwosampledmodelresponses,basedonprovidedcriteria. Inordertomaximizethediversity,the
tworesponsestoagivenpromptaresampledfromtwodiﬀerentmodelvariants,andvaryingthetemperature
hyper-parameter. Inadditiontogivingparticipantsaforcedchoice,wealsoaskannotatorstolabelthedegree
to which they prefer their chosen response over the alternative: either their choice is signiﬁcantly better ,better,
slightly better , ornegligibly better/ unsure .