Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
70B 25.3 33.0 39.5 44.3 82.4 85.0 87.6 87.5
Table 22: (左)NaturalQuestions. 正確な一致パフォーマンス。(右)TriviaQA. ゼロショットおよびフューショットの正確な一致パフォーマンス（フィルタリングされた開発セットでの評価）。TriviaQAでは、Wiki検証サブセットで評価します。
SQUAD (EM) QUAC (f1)
モデルサイズ 0-shot 1-shot 4-shot 5-shot 0-shot 1-shot
MPT 7B 59.5 62.8 62.6 62.7 38.0 37.7
MPT 30B 74.7 74.2 72.4 74.2 40.4 41.1
Falcon 7B 16.4 16.0 16.9 17.5 24.0 18.8
Falcon 40B 72.9 73.1 71.7 71.0 41.2 43.3
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 60.0 62.3 63.3 62.8 38.9 32.0
13B 68.9 68.4 66.4 66.7 39.9 36.5
33B 75.5 77.0 76.3 75.6 44.1 40.3
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
70B 25.3 33.0 39.5 44.3 82.4 85.0 87.6 87.5
Table 22: (Left)NaturalQuestions. Exactmatchperformance. (Right)TriviaQA. Zero-shotandfew-shot
exact match performance on the ﬁltered dev set. For TriviaQA, we evaluate on Wiki validation subset.
SQUAD (EM) QUAC (f1)
Model Size 0-shot 1-shot 4-shot 5-shot 0-shot 1-shot
MPT 7B 59.5 62.8 62.6 62.7 38.0 37.7
MPT 30B 74.7 74.2 72.4 74.2 40.4 41.1
Falcon 7B 16.4 16.0 16.9 17.5 24.0 18.8
Falcon 40B 72.9 73.1 71.7 71.0 41.2 43.3
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 60.0 62.3 63.3 62.8 38.9 32.0
13B 68.9 68.4 66.4 66.7 39.9 36.5
33B 75.5 77.0 76.3 75.6 44.1 40.3