Llama 2: オープンファンデーションとファインチューンされたチャットモデル
KLペナルティ項（）を適切に安定性とバランスを保つ。
Rc(gjp) = Rs(gjp) if Rs(gjp) ≤ 0:15
Rh(gjp) otherwise
~Rc(gjp) = /w.sc/h.sc/i.sc/t.sc/e.sc/n.sc (/l.sc/o.sc/g.sc/i.sc/t.sc (Rc(gjp)))
すべてのモデルについて、AdamWオプティマイザ（Loshchilov and Hutter, 2017）を使用し、1= 0:9、2= 0:95、eps= 105を使用する。重み減衰率は0:1、勾配クリッピングは1:0、一定の学習率は106を使用する。各PPOイテレーションには、バッチサイズ512、PPOクリップ閾値0:2、ミニバッチサイズ64を使用し、ミニバッチごとに1つの勾配ステップを取る。7Bおよび13Bモデルでは、= 0:01（KLペナルティ）を設定し、34Bおよび
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
stability and balance properly with the KL penalty term ( ) above.
Rc(gjp) =Rs(gjp)if/i.sc/s.sc_/s.sc/a.sc/f.sc/e.sc/t.sc/y.sc (p)orRs(gjp)<0:15
Rh(gjp)otherwise
~Rc(gjp) =/w.sc/h.sc/i.sc/t.sc/e.sc/n.sc (/l.sc/o.sc/g.sc/i.sc/t.sc (Rc(gjp)))
For all models, we use the AdamW optimizer (Loshchilov and Hutter, 2017), with 1= 0:9;2= 0:95;eps=
105. Weuseaweightdecayof 0:1,gradientclippingof 1:0,andaconstantlearningrateof 106. Foreach
PPOiterationweuseabatchsizeof 512,aPPOclipthresholdof 0:2,amini-batchsizeof 64,andtakeone
gradient step per mini-batch. For the 7B and 13B models, we set = 0:01(KL penalty), and for the 34B and