Llama 2: オープンファンデーションと微調整されたチャットモデル
これにより、例えば、2つのモデル間で情報の不一致が起こるケースを防ぎ、幻覚を優先することを防ぎます。モデルのアーキテクチャとハイパーパラメータは、事前学習された言語モデルと同一であり、次のトークン予測のための分類ヘッドがスカラー報酬を出力する回帰ヘッドに置き換えられる点を除いて同一です。
トレーニング目標。報酬モデルをトレーニングするために、収集したペアワイズの人間の選好データを2値の順位付けラベル形式（すなわち、選択されたものと拒否されたもの）に変換し、選択された応答がその対応物よりも高いスコアを持つように強制します。私たちは、Ouyang et al. (2022) による2値の順位付け損失を使用しました:
Lranking = log((r(x;yc) - r(x;yr))) (1)
ここで、r(x;y) は、モデルの重み  を持つプロンプト x と完了 y に対するスカラースコアの出力です。yc はアノテーターが選択した優先される応答であり、yr は拒否された対応物です。
この2値の順位付け損失をベースに、より良い有用性と安全性の報酬モデルのためにそれぞれ別々に修正を加えます。私たちの選好評価が4点のスケールで分解されることを考慮して、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
knows. Thispreventscaseswhere, forinstance, thetwomodelswouldhaveaninformationmismatch, which
could result in favoring hallucinations. The model architecture and hyper-parameters are identical to those
ofthepretrainedlanguagemodels,exceptthattheclassiﬁcationheadfornext-tokenpredictionisreplaced
with a regression head for outputting a scalar reward.
Training Objectives. To train the reward model, we convert our collected pairwise human preference data
into a binary ranking label format (i.e., chosen & rejected) and enforce the chosen response to have a higher
score than its counterpart. We used a binary ranking loss consistent with Ouyang et al. (2022):
Lranking =log((r(x;yc)r(x;yr))) (1)
wherer(x;y)is the scalar score output for prompt xand completion ywith model weights .ycis the
preferred response that annotators choose and yris the rejected counterpart.
Built on top of this binary ranking loss, we further modify it separately for better helpfulness and safety
rewardmodelsasfollows. Giventhatourpreferenceratingsisdecomposedasascaleoffourpoints(e.g.,