Llama 2: オープンファウンデーションと微調整されたチャットモデル
より多くの注釈で改善の余地があります。報酬モデルの精度は、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の最終パフォーマンスにとって最も重要なプロキシの1つであることに注意しています。生成モデルを包括的に評価するためのベストプラクティスはオープンな研究課題ですが、報酬のランキングタスクには曖昧さがありません。したがって、他のすべてが同じである場合、報酬モデルの改善は直接L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の改善につながる可能性があります。
3.2.3 イテレーティブな微調整
人間の選好データの注釈をさらに受け取ったため、より良い報酬モデルを訓練し、より多くのプロンプトを収集することができました。したがって、RLHFモデルの連続したバージョン、ここではRLHF-V1、...、RLHF-V5を訓練しました。
私たちは、RLHFの微調整を2つの主要なアルゴリズムで探索しました。
•Proximal Policy Optimization（PPO）（Schulman et al.、2017）、RLHF文献の標準。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
room for more improvement with more annotations. We note that reward model accuracy is one of the most
important proxies for the ﬁnal performance of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . While best practices for comprehensively
evaluating a generative model is an open research question, the ranking task of the reward has no ambiguity.
Therefore, everything else being equal, an improvement of the reward model can be directly translated into
an improvement for L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc .
3.2.3 Iterative Fine-Tuning
As we received more batches of human preference data annotation, we were able to train better reward
modelsandcollectmoreprompts. WethereforetrainedsuccessiveversionsforRLHFmodels,referredto
here as RLHF-V1, ..., RLHF-V5.
We explored RLHF ﬁne-tuning with two main algorithms:
•Proximal Policy Optimization (PPO) (Schulman et al., 2017), the standard in RLHF literature.