Llama 2: オープンファウンデーションと微調整されたチャットモデル
モデルでは、アノテーターには比較的単純なプロンプトを作成するように求められ、次第に複雑なプロンプトに移行し、L/l.sc/a.sc/m.sc/a.sc/t.scに新しいスキルを教えるように進んでいくようにしました。このカリキュラム注釈の例を、私たちの助け合いの優先データに示したものが図26です。
A.3.3 報酬モデリングのための好意評価ベースのマージンを用いたランキング損失の削減
私たちは、助け合いの報酬モデルに対する好意評価ベースのマージン項を用いたランキング損失を削減しました。
私たちは、Eq 2のマージン項に異なる大きさのm(r)を持つ2つの変種を試し、それらをマージン項なしのベースラインと比較しました。私たちは、Meta Helpfulテストセットでのそれぞれの評価と平均精度を表28に示します。マージン項は、報酬モデルがより分離可能な比較ペアでより良いパフォーマンスを発揮するのに役立つことを観察しました。また、より大きなマージンは、さらにそれを向上させることができます。ただし、より大きなマージンは、類似したサンプルでのパフォーマンスを低下させることもあります。
さらに、マージンベースの損失が報酬スコアの分布シフトに与える影響を評価しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
model,theannotatorswereaskedtomakepromptsrelativelysimple,andthentoprogressivelymovetowards
morecomplexpromptsandteachingnewskillsto L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . Anillustrationofthiscurriculumannotation
on our helpfulness preference data is displayed in Figure 26.
A.3.3 Ablation on Ranking Loss with Preference Rating-based Margin for Reward Modeling
We ablated the ranking loss with the preference rating-based margin term for the helpfulness reward model.
We tried two variants of m(r)with diﬀerent magnitude for the margin term in Eq 2 as listed open-source 27
andcomparethemagainstthebaselinewithoutthemarginterm. Wereportboththeirper-ratingandaverage
accuracy on the Meta Helpful test set in Table 28. We observe that the margin term can indeed help the
rewardmodelperformbetteronmoreseparablecomparisonpairsandalargermargincanboostitfurther.
However, the larger margin also regresses performance on similar samples.
We further evaluated the impact of margin-based loss on reward score distribution shifts. We plot the