ラマ2：オープンファンデーションと微調整されたチャットモデル
ただし、L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle 30Bを除いて、QUAC 0-shotではわずかに性能が向上します。
試験。表24では、AGI Eval（Zhong et al.、2023）ベンチマークの英語部分からの細かい結果を示します。 AGI Evalは、異なる科目の標準化された試験のコレクションです。
人文科学 STEM 社会科学 その他 平均
MPT7B 26.7 25.3 27.1 28.2 26.8
30B 44.5 39.0 52.8 52.9 46.9
Falcon7B 26.4 26.2 24.7 27.4 26.2
40B 49.3 45.5 65.4 65.0 55.4
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 34.0 30.5 38.3 38.1 35.1
13B 45.0 35.8 53.8 53.3 46.9
33B 55.8 46.0 66.7 63.4 57.8
65B 61.8 51.7 72.9 67.4 63.4
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
except the QUAC 0-shot where L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle 30B performs slightly better.
Exams. In Table 24, we present ﬁne-grained results from the English part of the AGI Eval (Zhong et al.,
2023) benchmark. AGI Eval is a collection of standardized exams in diﬀerent subjects.
48
Humanities STEM Social Sciences Other Average
MPT7B 26.7 25.3 27.1 28.2 26.8
30B 44.5 39.0 52.8 52.9 46.9
Falcon7B 26.4 26.2 24.7 27.4 26.2
40B 49.3 45.5 65.4 65.0 55.4
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 34.0 30.5 38.3 38.1 35.1
13B 45.0 35.8 53.8 53.3 46.9
33B 55.8 46.0 66.7 63.4 57.8
65B 61.8 51.7 72.9 67.4 63.4