Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
• Proximal Policy Optimization (PPO)（Schulman et al.、2017）、RLHF文献の標準。
• Rejection Sampling fine-tuning. モデルからK個の出力をサンプリングし、Bai et al. (2022b)に従って最良の候補を選択します。LLMに対する同じ再順位付け戦略は、Dengetal. (2019)で提案されており、報酬がエネルギー関数と見なされます。ここではさらに一歩進んで、選択された出力を勾配更新に使用します。各プロンプトについて、報酬スコアが最も高いサンプルが新しいゴールドスタンダードと見なされます。Scialom et al. (2020a)と同様に、新しいランク付けされたサンプルセットでモデルをファインチューニングし、報酬を強化します。
これら2つのRLアルゴリズムの主な違いは次のとおりです：
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
•Proximal Policy Optimization (PPO) (Schulman et al., 2017), the standard in RLHF literature.
•RejectionSamplingﬁne-tuning . Wesample Koutputsfromthemodelandselectthebestcandidate
with our reward, consistent with Bai et al. (2022b). The same re-ranking strategy for LLMs was also
proposedinDengetal.(2019),wheretherewardisseenasanenergyfunction. Here,wegoonestep
further,anduse theselectedoutputsfora gradientupdate. For eachprompt,thesample obtaining
13
100101
N Samples0.540.560.580.600.620.640.66Reward Score
Max of the rewards
Median of the rewardsFigure 7: Max and median reward among N samples ,N2[1;:::; 100]averaged over our training set of
prompts. The delta between max and median can be interpreted as potential gain with Rejection Sampling.
the highestrewardscore is consideredthe newgold standard. Similar toScialom etal. (2020a), we
then ﬁne-tune our model on the new set of ranked samples, reinforcing the reward.
The two RL algorithms mainly diﬀer in: