Llama 2: オープンファンデーションと微調整されたチャットモデル
シャードの数よりも追加の通信コストはすべての場合に値しない。
コンテキスト NarrativeQA Qasper QuALITY QMSum ContractNLI SQuAD
長さ (F1) (F1) (acc) (Rouge 1/2/L) (EM) (EM/F1)
2k 0.21 0.71 26.1 0.13/0.01/0.12 11.76 57.23/62.89
4k 17.26 18.52 29.6 15.08 /3.55/12.16 16.33 57.99 /64.46
表16: 長いコンテキストタスクにおけるコンテキスト長の削減。
コンテキスト Hella-Swag NQ TQA GSM8K Human-Eval
長さ (0-shot) (64-shot) (64-shot) (8-shot) (0-shot)
2k 75.1 25.5 53.7 4.9 7.9
4k 74.8 25.5 52.2 6.5 7.3
表17: 一般的なタスクにおけるコンテキスト長の削減。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
than the number of shards and the additional communication cost is not worth it in all cases.
Context NarrativeQA Qasper QuALITY QMSum ContractNLI SQuAD
Length (F1) (F1) (acc) (Rouge 1/2/L) (EM) (EM/F1)
2k 0.21 0.71 26.1 0.13/0.01/0.12 11.76 57.23/62.89
4k 17.26 18.52 29.6 15.08 /3.55/12.16 16.33 57.99 /64.46
Table 16: Context length ablation on long-context tasks.
Context Hella-Swag NQ TQA GSM8K Human-Eval
Length (0-shot) (64-shot) (64-shot) (8-shot) (0-shot)
2k 75.1 25.5 53.7 4.9 7.9
4k 74.8 25.5 52.2 6.5 7.3
Table 17: Context length ablation on general tasks.
47
BoolQ PIQA SIQA Hella-Swag ARC-e ARC-c NQ TQA MMLU GSM8K Human-Eval