Llama 2: オープンファンデーションとファインチューンされたチャットモデルには、元のポリシー 0 からの逸脱に対するペナルティ項が含まれています。他の研究（Stiennon et al., 2020; Ouyang et al., 2022）でも観察されたように、この制約はトレーニングの安定性に役立ち、報酬のハッキングを減らすのに役立ちます。報酬モデルから高得点を得るが、人間の評価から低得点を得ることがあります。私たちは、安全性（Rs）と有用性（Rh）の報酬モデルの分割組み合わせをRcと定義します。潜在的に安全でない応答を引き出す可能性のあるプロンプトにタグ付けし、安全モデルからのスコアを優先させます。0:15の閾値は、MetaSafetyテストセットで評価された精度0:89および再現率0:55に対応するように選択され、安全でない応答をフィルタリングするために使用されます。また、最終的な線形スコアをホワイトニングすること（ここではシグモイドを逆関数のロジットで反転させること）は、安定性を高め、上記のKLペナルティ項（ ）と適切にバランスを取るために重要であることがわかります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
contains a penalty term for diverging from the original policy 0. As was observed in other works (Stiennon
et al., 2020; Ouyang et al., 2022), we ﬁnd this constraint is useful for training stability, and to reduce reward
hackingwherebywewouldachievehighscoresfromtherewardmodelbutlowscoresfromhumanevaluation.
We deﬁneRcto be a piecewise combination of the safety ( Rs) and helpfulness ( Rh) reward models. We
havetaggedpromptsinourdatasetthatmightelicitpotentiallyunsaferesponsesandprioritizethescores
from the safety model. The threshold of 0:15is chosen for ﬁltering unsafe responses, corresponding to a
precisionof 0:89andarecallof 0:55evaluatedontheMetaSafetytestset. Wealsoﬁnditimportanttowhiten
the ﬁnal linear scores (shown here by reversing the sigmoid with the logit function) in order to increase
stability and balance properly with the KL penalty term ( ) above.