Llama 2: オープンファンデーションと微調整されたチャットモデル
報酬モデルは以下のようになります。私たちの好みの評価は4点のスケール（例：著しく良い）に分解されているため、セクション3.2.1で示されているように、この情報を活用して、より多くの違いを持つ生成物により異なるスコアを割り当てるように報酬モデルを明示的に教えることが有益であることがわかります。そのため、損失にマージンコンポーネントをさらに追加します：
Lranking = log((r(x;yc) - r(x;yr) - m(r))) (2)
ここで、マージンm(r)は好みの評価の離散関数です。自然に、異なる応答を持つペアには大きなマージンを使用し、類似した応答を持つペアには小さなマージンを使用します（表27に示されています）。私たちはこのマージンコンポーネントが、特に2つの応答がより分離可能なサンプルでHelpfulness報酬モデルの精度を向上させることができることを見つけました。より詳細な削除および分析は、付録A.3.3の表28に記載されています。
データ構成。私たちは新たに収集したデータを既存のオープンソースの好みデータセットと組み合わせます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
rewardmodelsasfollows. Giventhatourpreferenceratingsisdecomposedasascaleoffourpoints(e.g.,
signiﬁcantly better ), as presented in Section 3.2.1, it can be useful to leverage this information to explicitly
teachtherewardmodeltoassignmorediscrepantscorestothegenerationsthathavemorediﬀerences. To
do so, we further add a margin component in the loss:
Lranking =log((r(x;yc)r(x;yr)m(r))) (2)
where the margin m(r)is a discrete function of the preference rating. Naturally, we use a large margin
for pairs with distinct responses, and a smaller one for those with similar responses (shown in Table 27).
WefoundthismargincomponentcanimproveHelpfulnessrewardmodelaccuracyespeciallyonsamples
wheretworesponsesaremoreseparable. MoredetailedablationandanalysiscanbefoundinTable28in
Appendix A.3.3.
DataComposition. Wecombineournewlycollecteddatawithexistingopen-sourcepreferencedatasets