ラマ2：オープンファンデーションと微調整されたチャットモデル
その後、新しいランク付けされたサンプルにモデルを微調整し、報酬を強化します。
2つのRLアルゴリズムの主な違いは次のとおりです。
• 幅 - 拒否サンプリングでは、与えられたプロンプトに対してKサンプルを探索しますが、PPOでは1つの生成のみが行われます。
• 深さ - PPOでは、ステップtでのトレーニング中に、サンプルは前のステップの勾配更新後の更新されたモデルポリシーの関数です。拒否サンプリングの微調整では、モデルの初期ポリシーに基づいてすべての出力をサンプリングし、SFTと同様の微調整を適用する前に新しいデータセットを収集します。ただし、反復的なモデルの更新を適用したため、2つのRLアルゴリズム間の基本的な違いはあまり顕著ではありません。
RLHF（V4）まで、私たちは拒否サンプリングの微調整のみを使用し、その後、再度サンプリングする前にPPOを適用し、結果として得られた拒否サンプリングのチェックポイントの上にPPOを適用しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
then ﬁne-tune our model on the new set of ranked samples, reinforcing the reward.
The two RL algorithms mainly diﬀer in:
•Breadth— in Rejection Sampling, the model explores Ksamples for a given prompt, while only one
generation is done for PPO.
•Depth— in PPO, during training at step tthe sample is a function of the updated model policy from
t1afterthegradientupdateofthepreviousstep. InRejectionSamplingﬁne-tuning,wesample
all the outputs given the initial policy of our model to collect a new dataset, before applying the
ﬁne-tuning similar to SFT. However, since we applied iterative model updates, the fundamental
diﬀerences between the two RL algorithms are less pronounced.
Until RLHF (V4), we used only Rejection Sampling ﬁne-tuning, and after that, we combined the two
sequentially, applying PPO on top of the resulted Rejection Sampling checkpoint before sampling again.
100101102
Number Samples0.10.20.30.40.50.6Reward Score
SFT
100101102
Number Samples0.350.400.450.500.550.600.650.70Reward Score
RLHF