Llama 2: オープンファンデーションと微調整されたチャットモデル
0.0% 2.0% 4.0% 6.0% 8.0%
密度0.00.20.40.60.81.0
マージン 小
0.0% 2.0% 4.0% 6.0% 8.0%
密度0.00.20.40.60.81.0
マージン 大
図27: ランキング損失に基づくマージンを組み込むことによって引き起こされる報酬モデルスコア分布のシフト。マージン項を使用すると、特に大きなマージンでは報酬分布にバイナリ分割パターンが観察されます。
54
図28: GAttゼロショット汎化。GAttのトレーニングデータには上記の2つの制約のどちらも存在しませんでした。それでも、それらはすべてのターンで完璧に満たされています。
1 2 3 4 5 6 7
中央応答品質スコア0.00.20.40.60.81.0平均報酬モデルスコア
助け
1 2 3 4 5 6 7
中央応答品質スコア0.00.20.40.60.81.0平均報酬モデルスコア
安全性
図29: トリプルからの平均報酬モデルスコア対モデル応答品質評価（7段階のリカートスケール）
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
0.0% 2.0% 4.0% 6.0% 8.0%
Density0.00.20.40.60.81.0
Margin Small
0.0% 2.0% 4.0% 6.0% 8.0%
Density0.00.20.40.60.81.0
Margin Large
Figure27: Rewardmodelscoredistributionshiftcausedbyincorporatingpreferenceratingbasedmargin
in rankingloss. Withthemarginterm,weobserveabinarysplitpatterninrewarddistribution,especially
with a larger margin.
54
Figure28: GAtt zero-shotgeneralisation. Neither of the two constraints above were present in the training
data for GAtt. Yet, they are perfectly fulﬁlled trough all the turns.
1 2 3 4 5 6 7
Median Response Quality Score0.00.20.40.60.81.0Mean Reward Model Score
Helpfulness
1 2 3 4 5 6 7
Median Response Quality Score0.00.20.40.60.81.0Mean Reward Model Score
Safety
Figure29: Averagerewardmodelscorevsmodelresponsequalityrating(7-pointLikertscale)fromtriple