Llama 2: オープンファンデーションと微調整されたチャットモデル
0:9; 2= 0:95; eps= 10^5。私たちはコサイン学習率スケジュールを使用し、ウォームアップを2000ステップ、そして減衰をピーク学習率の10%まで行います。また、重み減衰率は0:1、勾配クリッピングは1:0を使用します。図5(a)はこれらのハイパーパラメータを使用したL/l.sc/a.sc/m.sc/a.sc/two.taboldstyleのトレーニング損失を示しています。
5
トレーニングデータパラメータ コンテキスト
長さGQA トークン LR
L/l.sc/a.sc/m.sc/a.sc/one.taboldstyle 参照：Touvron et al. (2023) 7B 2k 7 1.0T 3:010^4
13B 2k 7 1.0T 3:010^4
33B 2k 7 1.4T 1:510^4
65B 2k 7 1.4T 1:510^4
L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle 新しい公開オンラインデータのミックス 7B 4k 7 2.0T 3:010^4
13B 4k 7 2.0T 3:010^4
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
0:9;2= 0:95;eps= 105. We use a cosine learning rate schedule, with warmup of 2000 steps, and decay
ﬁnallearningratedownto10%ofthepeaklearningrate. Weuseaweightdecayof 0:1andgradientclipping
of1:0. Figure 5 (a) shows the training loss for L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle with these hyperparameters.
5
Training Data Params Context
LengthGQA Tokens LR
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyleSee Touvron et al.
(2023)7B 2k 7 1.0T 3:0104
13B 2k 7 1.0T 3:0104
33B 2k 7 1.4T 1:5104
65B 2k 7 1.4T 1:5104
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyleA new mix of publicly
available online data7B 4k 7 2.0T 3:0104
13B 4k 7 2.0T 3:0104