ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
RLHF- v4
RLHF- v3
     RLHF- v2RLHF- v1     
SFT-v2    
SFT-v1
10% 20% 30% 40% 50% 60% 70% 80% 90%10%20%30%40%50%60%70%80%
助け
審判：GPT-4無害性図11：L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scの進化を示します。複数の反復fine-tuningの後の進化を示します
ChatGPTに対するL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scの勝率％。左：審判は私たちの報酬モデルであり、私たちのモデルを好む可能性があります
そして、右側は審判がGPT-4であり、より中立であるはずです。
多様なオープンソースの報酬モデリングデータセットに対する反復的なモデルの更新がこれを防ぐのに役立っている可能性があると仮説を立てています。
新しいモデルと以前のモデルとの間に回帰がないことを確認する最後の検証ステップとして、両方を使用します
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
RLHF- v4
RLHF- v3
     RLHF- v2RLHF- v1     
SFT-v2    
SFT-v1
10% 20% 30% 40% 50% 60% 70% 80% 90%10%20%30%40%50%60%70%80%
Helpfulness
Judge: GPT -4HarmlessnessFigure 11: Evolution of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . We show the evolution after multiple iterations ﬁne-tuning for the
win-rate%of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc comparedtoChatGPT. Left: thejudgeisourrewardmodel,whichmayfavor
our model, and right, the judge is GPT-4, which should be more neutral.
on diverse open-source Reward Modeling datasets. We have not yet observed any such divergence, and
hypothesize that iterative model updates may be helping to prevent this.
As a last veriﬁcation step to ensure no regression between our new model and the previous one, we use both