Llama 2: オープンファンデーションとファインチューンされたチャットモデル
2021年）は、追加の将来の研究にとって有益な領域となる可能性があります。
その後の反復に対応して、私たちは戦略を修正し、RLHF-V1およびRLHF-V2で使用されたような、すべての以前の反復からの最も優れたサンプルを取り入れました。具体的な数字を示していませんが、この調整によりパフォーマンスがかなり向上し、以前に指摘された問題が効果的に解決されたことが示されました。この緩和は、RLの文献におけるSynnaeveら（2019年）やVinyalsら（2019年）と類似して見なすことができます。
図7における拒絶サンプリングの利点を示します。最大と中央の曲線の間の差は、最良の出力に対するファインチューニングの潜在的な利益と解釈できます。予想通り、この差はサンプル数が増えると増加します（つまり、サンプル数が増えると、良い軌道を生成する機会が増えるため）、一方で中央値は一定です。探索とサンプルの間には直接の関連があります。温度パラメータも探索に重要な役割を果たし、高い温度はより多様な出力をサンプリングできるようにします。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
2021) could be a fruitful area for additional future research.
In response, on subsequent iterations, we modiﬁed our strategy, incorporating top-performing samples from
all prior iterations, such as those used in RLHF-V1 and RLHF-V2. Although we do not present speciﬁc
ﬁgures, this adjustment demonstrated considerable enhancements in performance and eﬀectively addressed
the previously noted issues. This mitigation can be seen as analogous to Synnaeve et al. (2019) and Vinyals
et al. (2019) in the RL literature.
We illustrate the beneﬁt of Rejection Sampling in Figure 7. The delta between the maximum and median
curves can be interpreted as the potential gain of ﬁne-tuning on the best output. As expected, this delta
increases with more samples, since the maximum increases (i.e., more samples, more opportunities to
generateagoodtrajectory),whilethemedianremainsstationary. Thereisadirectconnectionbetweenthe
explorationand themaximum rewardwe canobtain amongthesamples. Thetemperatureparameteralso
plays an important role for exploration, as a higher temperature enables us to sample more diverse outputs.