Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
監督されたファインチューニングの手法を使用してモデルを反復的に改良します。その後、人間のフィードバックを用いた強化学習（RLHF）手法を用いてモデルを磨き上げます。具体的には、リジェクションサンプリングとProximal Policy Optimization（PPO）を使用します。RLHF段階では、反復的な報酬モデリングデータの蓄積とモデルの改良が並行して行われ、報酬モデルが分布内に留まることが重要です。
2. プリトレーニング
新しい L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle モデルファミリーを作成するために、Touvron et al.（2023）で説明されているプリトレーニングアプローチを使用しました。最適化された自己回帰トランスフォーマーを使用し、パフォーマンスを向上させるためにいくつかの変更を加えました。具体的には、より堅牢なデータクリーニングを行い、データミックスを更新し、合計トークン数を40％増やし、コンテキストの長さを倍にし、グループ化されたクエリアテンション（GQA）を使用して推論のスケーラビリティを向上させました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
ofsupervised ﬁne-tuning . Subsequently, the model is iteratively reﬁned using Reinforcement Learning
with Human Feedback (RLHF) methodologies, speciﬁcally through rejection sampling and Proximal Policy
Optimization(PPO).ThroughouttheRLHFstage,theaccumulationof iterativerewardmodelingdata in
parallel with model enhancements is crucial to ensure the reward models remain within distribution.
2 Pretraining
Tocreatethenewfamilyof L/l.sc/a.sc/m.sc/a.sc /two.taboldstylemodels,webeganwiththepretrainingapproachdescribedinTouvronetal.
(2023), using an optimized auto-regressive transformer, but made several changes to improve performance.
Speciﬁcally,weperformedmorerobustdatacleaning,updatedourdatamixes,trainedon40%moretotal
tokens,doubledthecontextlength,andusedgrouped-queryattention(GQA)toimproveinferencescalability