Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
モデルの能力と限界については、結果は4.1節に記載されています。
2.2 トレーニングの詳細
私たちは、L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleからの事前トレーニング設定とモデルアーキテクチャのほとんどを採用しています。標準のトランスフォーマーアーキテクチャ（Vaswani et al.、2017）を使用し、RMSNorm（Zhang and Sennrich、2019）を使用した事前正規化を適用し、SwiGLU活性化関数（Shazeer、2020）を使用し、回転位置埋め込み（RoPE、Su et al.、2022）を使用します。L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleとの主なアーキテクチャの違いには、増加したコンテキスト長とグループ化されたクエリアテンション（GQA）が含まれます。これらの違いのそれぞれについて、その重要性を実証するための削除実験をAppendixSectionA.2.1で詳細に説明します。
ハイパーパラメータ。私たちは、AdamWオプティマイザ（Loshchilov and Hutter、2017）を使用してトレーニングしました。1=0.9、2=0.95、eps=10^-5。私たちは、ウォームアップ2000ステップ、減衰を用いたコサイン学習率スケジュールを使用しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
capabilities and limitations of our models; results can be found in Section 4.1.
2.2 Training Details
We adopt most of the pretraining setting and model architecture from L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle . We use the standard
transformer architecture (Vaswani et al., 2017), apply pre-normalization using RMSNorm (Zhang and
Sennrich, 2019), use the SwiGLU activation function (Shazeer, 2020), and rotary positional embeddings
(RoPE, Su et al. 2022). The primary architectural diﬀerences from L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle include increased context length
andgrouped-queryattention(GQA).WedetailinAppendixSectionA.2.1eachofthesediﬀerenceswith
ablation experiments to demonstrate their importance.
Hyperparameters. We trained using the AdamW optimizer (Loshchilov and Hutter, 2017), with 1=
0:9;2= 0:95;eps= 105. We use a cosine learning rate schedule, with warmup of 2000 steps, and decay