Llama 2: オープンファンデーションと微調整されたチャットモデル
オンラインで利用可能なデータ7B 4k 7 2.0T 3:0104
13B 4k 7 2.0T 3:0104
34B 4k X 2.0T 1:5104
70B 4k X 2.0T 1:5104
Table1: L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle モデルファミリー。トークン数は事前学習データのみを指します。すべてのモデルはグローバルバッチサイズが4Mトークンで訓練されています。より大きなモデル（34Bおよび70B）は推論のスケーラビリティを向上させるためにグループ化されたクエリアテンション（GQA）を使用しています。
0 250 500 750 1000 1250 1500 1750 2000
処理されたトークン（十億）1.41.51.61.71.81.92.02.12.2 Train PPL
Llama-2
7B
13B
34B
70B
Figure5: L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle モデルの訓練損失。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle モデルファミリーの訓練損失を比較します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
available online data7B 4k 7 2.0T 3:0104
13B 4k 7 2.0T 3:0104
34B 4k X 2.0T 1:5104
70B 4k X 2.0T 1:5104
Table1: L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle familyofmodels. Tokencountsrefertopretrainingdataonly. Allmodelsaretrainedwith
a global batch-size of 4M tokens. Bigger models — 34B and 70B — use Grouped-Query Attention (GQA) for
improved inference scalability.
0 250 500 750 1000 1250 1500 1750 2000
Processed Tokens (Billions)1.41.51.61.71.81.92.02.12.2Train PPLLlama-2
7B
13B
34B
70B
Figure5: TrainingLossfor L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models. Wecomparethetraininglossof the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle family ofmodels.