ラマ2：オープンファウンデーションとファインチューンされたチャットモデル、および100の出力はT2[1:2;1:3]です。有限な計算予算が与えられた場合、温度を段階的に再調整する必要があります。この温度の再スケーリングは、各モデルごとに一定数のステップで行われ、常に新しいRLHFバージョンのベースモデルから開始されることに注意してください。PPO。さらに、Stiennonら（2020）のRLスキームに従って言語モデルをトレーニングし、報酬モデルを真の報酬関数（人間の選好）の推定値とし、事前にトレーニングされた言語モデルを最適化するポリシーとして使用します。このフェーズでは、以下の目的を最適化しようとします：arg max EpD;g[R(gjp)] (3)。我々は、データセットDからプロンプトpをサンプリングし、ポリシーから生成gをサンプリングし、PPOアルゴリズムと損失関数を使用してこの目的を達成することでポリシーを反復的に改善します。最適化中に使用する最終的な報酬関数R(gjp)は、以下のようになります：R(gjp) =~Rc(gjp)DKL((gjp)k0(gjp)) (4)。この中で、元のポリシー0からの発散に対するペナルティ項が含まれています。他の研究（Stiennonらによる）で観察されたように、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
and 100 outputs is T2[1:2;1:3]. Given a ﬁnite compute budget, it is therefore necessary to re-adjust the
temperatureprogressively. Note thatthistemperature rescalinghappensfor aconstantnumber ofstepsfor
each model, and always starting from the base model on each new RLHF version.
PPO.WefurthertrainourlanguagemodelfollowingtheRLschemeofStiennonetal.(2020),whichusesthe
reward model as an estimate for the true reward function (human preference) and the pretrained language
model as the policy to optimize. During this phase, we seek to optimize the following objective:
arg max
EpD;g[R(gjp)] (3)
We iteratively improve the policy by sampling prompts pfrom our dataset Dand generations gfrom the
policyand use the PPO algorithm and loss function to achieve this objective.
The ﬁnal reward function we use during optimization,
R(gjp) =~Rc(gjp)DKL((gjp)k0(gjp)) (4)
contains a penalty term for diverging from the original policy 0. As was observed in other works (Stiennon