ラマ2：オープンファンデーションと微調整されたチャットモデル
47
BoolQ PIQA SIQA Hella-Swag ARC-e ARC-c NQ TQA MMLU GSM8K Human-Eval
MHA71.0 79.3 48.2 75.1 71.2 43.012.4 44.7 28.0 4.9 7.9
MQA 70.6 79.0 47.9 74.5 71.6 41.9 14.542.8 26.5 4.8 7.3
GQA 69.4 78.8 48.6 75.4 72.1 42.5 14.0 46.226.9 5.3 7.9
表18：注意構造の削減。MMLU（5ショット）およびGSM8K（8ショット）を除くすべてのタスクの0ショット結果を報告します。GSM8KおよびHuman-Evalでは、maj@1およびpass@1の結果を報告します。NQおよびTriviaQAではEMを報告します。その他のすべてのタスクについては、精度を報告します。
図24：マルチクエリの変種は、より大きなバッチサイズでより高いスループットを可能にし、より小さなバッチで類似したレイテンシを示します。出力の長さは128トークンで固定されています。最初のデータポイントはバッチに対応します
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
47
BoolQ PIQA SIQA Hella-Swag ARC-e ARC-c NQ TQA MMLU GSM8K Human-Eval
MHA71.0 79.3 48.2 75.1 71.2 43.012.4 44.7 28.0 4.9 7.9
MQA 70.6 79.0 47.9 74.5 71.6 41.9 14.542.8 26.5 4.8 7.3
GQA 69.4 78.8 48.6 75.4 72.1 42.5 14.0 46.226.9 5.3 7.9
Table 18: Attentionarchitecture ablations. We report 0-shot results for all tasks except MMLU(5-shot) and
GSM8K(8-shot). For GSM8K and Human-Eval we report maj@1 and pass@1 results. For NQ and TriviaQA
we report EM. For all other tasks we report accuracy.
Figure 24: Multi-query variants enable higher throughput with larger batch sizes, and show similar
latency on smaller batches. Outputlengthisﬁxedat128tokens. Theﬁrstdatapointcorrespondstobatch