Llama 2: オープンファンデーションとファインチューンされたチャットモデル
MQAでは、アテンション層の削減に対応するために、フィードフォワード層の次元を増やします。MQAバリアントでは、FFN次元を1:33の倍率で増やし、GQAバリアントでは、1:3の倍率で増やします。結果から、GQAバリアントは、ほとんどの評価タスクでMHAベースラインと同等のパフォーマンスを発揮し、平均してMQAバリアントよりも優れていることがわかります。
レイテンシーを最適化するために、我々はテンソル並列処理を使用して、最大のモデルを単一ノードで8A100Sでホストしています（Shoeybietal.、2019）。この設定では、MQAのシャーディングは、ヘッドの数がGPUの数よりも少ないため、もはや行えません。KV値をすべてのGPUで複製するか（KVキャッシュサイズをGQAと同じにする）、または代替案として、バッチ次元をまたいでシャーディングすることが考えられます（Popeetal.、2022）。ただし、後者は、バッチサイズがシャードの数よりも大きい場合にのみ機能し、追加の通信コストがすべてのケースで価値があるわけではないため、推論サービスを複雑にする可能性があります。
コンテキスト NarrativeQA Qasper QuALITY QMSum ContractNLI SQuAD
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
MQA, we increase the dimension of the feed-forward layers to compensate for the reduction in the attention
layers. For the MQA variant, we increase the FFN dimension by a factor of 1:33, and for the GQA variant, we
increase it by a factor of 1:3. From the results, we observe that the GQA variant performs comparably to the
MHA baseline on most evaluation tasks and is better than the MQA variant on average.
Tooptimizeforlatency,wehostourlargestmodelsusing8A100sinasinglenodewithtensorparallelism
(Shoeybietal.,2019). Inthissetting, shardingforMQAcannotbedoneacrossheadsanymore, giventhe
numberofheadsislowerthanthenumberofGPUs. EitheryouduplicatetheKVvaluesinallGPUs(making
theKVcachesizeequaltoGQA),oranalternativeistoshardacrossthebatchdimensioninstead(Popeetal.,
2022). The latter, however, can complicate an inference service, as it works only when batch sizes are larger
than the number of shards and the additional communication cost is not worth it in all cases.
Context NarrativeQA Qasper QuALITY QMSum ContractNLI SQuAD