Llama 2: オープンファウンデーションと微調整されたチャットモデル
13B 39.1 21.7 38.1 23.0 41.0 54.6 62.1 46.1 27.3
34B 43.4 19.3 40.7 21.3 47.5 62.1 77.2 49.0 32.7
70B 54.2 23.2 48.8 25.7 70.2 76.6 86.9 53.4 41.8
Table 24: AGI Eval（英語）におけるオープンソースモデルとの比較
50
モデルサイズ GSM8k MATH
MPT7B 6.8 3.0
30B 15.2 3.1
Falcon7B 6.8 2.3
40B 19.6 5.5
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 11.0 2.9
13B 17.8 3.9
33B 35.6 7.1
65B 50.9 10.6
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 14.6 2.5
13B 28.7 3.9
34B 42.2 6.24
70B 56.8 13.5
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
13B 39.1 21.7 38.1 23.0 41.0 54.6 62.1 46.1 27.3
34B 43.4 19.3 40.7 21.3 47.5 62.1 77.2 49.0 32.7
70B 54.2 23.2 48.8 25.7 70.2 76.6 86.9 53.4 41.8
Table 24: Comparison to open source models on AGI Eval (English)
50
Model Size GSM8k MATH
MPT7B 6.8 3.0
30B 15.2 3.1
Falcon7B 6.8 2.3
40B 19.6 5.5
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 11.0 2.9
13B 17.8 3.9
33B 35.6 7.1
65B 50.9 10.6
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 14.6 2.5
13B 28.7 3.9
34B 42.2 6.24
70B 56.8 13.5