Llama 2: オープンファンデーションと微調整されたチャットモデル
33B 75.5 77.0 76.3 75.6 44.1 40.3
65B 79.4 80.0 78.3 77.9 41.0 39.8
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 67.2 72.3 72.6 72.5 39.4 39.7
13B 72.9 72.1 70.6 71.3 42.7 44.8
34B 77.4 78.8 77.5 77.5 42.9 44.4
70B80.7 82.6 81.9 81.9 42.4 49.3
Table 23: 読解力に関するオープンソースモデルとの比較（SQUADおよびQUAC）。
モデル サイズ 平均AQuA-RAT LogiQA LSAT-AR LSAT-LR LSAT-RC SAT-en SAT-en（Psg.なし） SAT-math
MPT 7B 23.5 27.6 23.0 18.7 21.2 20.8 25.2 32.5 23.6
MPT 30B 33.8 28.0 28.7 23.9 35.1 37.9 63.1 36.9 27.7
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
33B 75.5 77.0 76.3 75.6 44.1 40.3
65B 79.4 80.0 78.3 77.9 41.0 39.8
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 67.2 72.3 72.6 72.5 39.4 39.7
13B 72.9 72.1 70.6 71.3 42.7 44.8
34B 77.4 78.8 77.5 77.5 42.9 44.4
70B80.7 82.6 81.9 81.9 42.4 49.3
Table 23: Comparison to open-source models on reading comprehension (SQUAD and QUAC).
Model Size Avg AQuA-RAT LogiQA LSAT-AR LSAT-LR LSAT-RC SAT-en SAT-en (w/o Psg.) SAT-math
MPT 7B 23.5 27.6 23.0 18.7 21.2 20.8 25.2 32.5 23.6
MPT 30B 33.8 28.0 28.7 23.9 35.1 37.9 63.1 36.9 27.7