ラマ2：オープンファンデーションとファインチューンされたチャットモデル
SFT
100101102
サンプル数0.350.400.450.500.550.600.650.70報酬スコア
RLHF
報酬最大値（T=0.6）
報酬最大値（T=0.8）
報酬最大値（T=0.9）
報酬最大値（T=1）
報酬最大値（T=1.1）
報酬最大値（T=1.2）
報酬最大値（T=1.3）
報酬最大値（T=1.4）
報酬最大値（T=1.5）
図8：RLHF、N個の出力をサンプリングし、報酬モデルでスコアリングしたときの温度の影響
拒絶サンプリング。最大の70B L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc のみで拒絶サンプリングを行います。より小さいモデルは、より大きなモデルからの拒絶サンプリングされたデータでファインチューニングされ、そのため大きなモデルの機能を小さいモデルに蒸留します。この蒸留の効果のさらなる分析は将来の課題とします。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
SFT
100101102
Number Samples0.350.400.450.500.550.600.650.70Reward Score
RLHF
reward_max (T=0.6)
reward_max (T=0.8)
reward_max (T=0.9)
reward_max (T=1)
reward_max (T=1.1)
reward_max (T=1.2)
reward_max (T=1.3)
reward_max (T=1.4)
reward_max (T=1.5)
Figure 8: RLHF impact of the temperature when sampling N outputs and scoring them with a reward
model.
Rejection Sampling. We perform rejection sampling only with our largest 70B L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . All smaller
models are ﬁne-tuned on rejection sampled data from the larger model, thus distilling the large-model
capabilities into the smaller ones. We leave further analysis of the eﬀect of this distillation for future work.