ラマ2：オープンファンデーションと微調整されたチャットモデル
マージンラージ3 2 1 0
表27：異なる大きさの好みに基づくマージンの2つのバリアント。
かなり
良い良い少し
良い無視できる
良い/不確か平均
マージンなし79.1 66.9 59.8 54.5 62.5
マージン小80.4 67.3 60.4 55.0 63.0
マージンラージ80.7 67.5 60.5 54.3 62.9
表28：助けになる報酬モデルのランキング損失における好みに基づくマージンの削減。評価
マージンコンポーネントは、より分離可能な応答ペアを持つサンプルでモデルの精度を向上させるのに役立ちます（例えば、選択された応答は拒否された対応物よりもかなり良い）。
モデルは、バイナリ分割パターンとより大きなマージンを形成するために、モデル生成により極端なスコアを割り当て、この分布のシフトをより顕著にします。上記の観察から、報酬のキャリブレーションに投資することが提案され、将来の作業に対して、PPOなどの強化学習アルゴリズムは報酬の分布変化に敏感である可能性があります。
A.3.4 報酬モデリングの安全補助損失を用いたランキング損失の削減
安全補助損失の影響を削減し、メタセーフティテストセットでの結果を表29に示しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Margin Large 3 2 1 0
Table 27: Two variants of preference rating based margin with diﬀerent magnitude.
Signiﬁcantly
BetterBetterSlightly
BetterNegligibly
Better / UnsureAvg
No margin 79.1 66.9 59.8 54.5 62.5
Margin Small 80.4 67.3 60.4 55.0 63.0
Margin Large 80.7 67.5 60.5 54.3 62.9
Table 28: Ablation on preference rating-based margin in Helpful reward model ranking loss. The rating
margin component helps improve model accuracy on samples with more separable response pairs (e.g.,
chosen response signiﬁcantly better the rejected counterpart).
model to assign more extreme scores to model generations to form a binary split pattern and a larger
margin makes this distribution shift more signiﬁcant. The above observation suggests investment in reward
calibrationforfutureworkasreinforcementlearningalgorithms,suchasPPO,canbesensitivetoreward
distribution change.
A.3.4 Ablation on Ranking Loss with Safety Auxiliary Loss for Reward Modeling
We ablated the impact of the safety auxiliary loss with results on the Meta Safety test set shown in Table 29.