Llama 2: オープンファンデーションと微調整されたチャットモデルは、探索において重要な役割を果たします。より高い温度は、より多様な出力をサンプリングすることを可能にします。図8では、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc-SFT（左）とL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc-RLHF（右）について、異なる温度におけるNサンプル（N2[1;:::;100]）の中での最大報酬曲線を報告しています。イテレーティブモデルの更新中、最適な温度は一定ではないことが観察されます。RLHFは温度の再調整に直接的な影響を与えます。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc-RLHFにおいて、10から100の出力をサンプリングする際の最適な温度はT2[1:2;1:3]です。有限な計算予算が与えられた場合、再調整が必要となります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
plays an important role for exploration, as a higher temperature enables us to sample more diverse outputs.
In Figure 8, we report for a L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc -SFT (left) and a L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc -RLHF (right), the maximum
rewardcurvesamongNsamples(with N2[1;:::; 100]),fordiﬀerenttemperatures. Wecanobservethat
theoptimaltemperatureisnotconstantduringtheiterativemodelupdates: RLHFhasadirectimpacton
rescalingthetemperature. For L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc -RLHF,theoptimaltemperaturewhensamplingbetween10
and 100 outputs is T2[1:2;1:3]. Given a ﬁnite compute budget, it is therefore necessary to re-adjust the