ラマ2：オープンファンデーションと微調整されたチャットモデル
注釈のガイドラインの違いに加えて、安全段階で安全ラベルを追加で収集します。
この追加情報により、モデルの応答を次の3つのカテゴリのいずれかに分類します：1）選択された応答が安全で、他の応答がそうでない、2）両方の応答が安全である、3）両方の応答が安全でない。それぞれの安全データセットの割合は、それぞれ18％、47％、35％です。選択された応答が安全で、他の応答が危険な場合の例は含まれておらず、より安全な応答が人間によってより良い/好ましいと考えられるためです。安全な注釈のガイドラインや詳細な情報については、4.2.1節を参照してください。
人間の注釈は週次でバッチごとに収集されました。より多くの選好データを収集するにつれて、報酬モデルが改善され、L/l.sc/a.sc/m.sc/a.sc/t.sc（セクション5、図20を参照）のために進行的により良いバージョンをトレーニングすることができました。報酬モデルの精度は、この新しいサンプル分布にさらされない場合に迅速に低下する可能性があるため、L/l.sc/a.sc/m.sc/a.sc/t.scの改善はまたモデルのデータ分布を変えました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Apart from diﬀerences in annotation guidelines, we additionally collect a safety label during the safety stage.
This additional information bins model responses into one of three categories: 1) the preferred response
is safe and the other response is not, 2) both responses are safe, and 3) both responses are unsafe, with
18%, 47%, and 35% of the safety dataset falling into each bin, respectively. We do not include any examples
where the chosen response was unsafe and the other response safe, as we believe safer responses will also be
better/preferred by humans. Safety guidelines and more detailed information regarding safety annotations
can be found in Section 4.2.1.
Human annotations were collected in batches on a weekly basis. As we collected more preference data, our
reward models improved, and we were able to train progressively better versions for L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc (see
theresultsinSection5,Figure20). L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc improvementalsoshiftedthemodel’sdatadistribution.
Since reward model accuracy can quickly degrade if not exposed to this new sample distribution, i.e., from