Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
小さなバッチでの遅延。Outputlengthisﬁxedat128tokens。最初のデータポイントはバッチサイズ1に対応し、その後、メモリーが不足するまで倍増させます。MHAバリアントは、256トークンのコンテキストに対してバッチサイズ1024でメモリ不足エラーをトリガーし、2kコンテキストに対してバッチサイズ128でメモリ不足エラーをトリガーしますが、MQAとGQAはこれらの設定で成功したランを持っています。
したがって、消去結果と推論のスケーリングの容易さに基づいて、34Bおよび70B L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルでは、MQAの代わりにGQAを使用することにしました。
図24は、テンソル並列処理を使用した8x80GiBA100sを使用した実験で、30B GQAおよびMQA消去モデルの推論速度がMHAbaselineと比較してどのように変化したかを示しています。これらのランでは、すべてのGPUでMQAのKVヘッドを複製しただけであり、そのため、MQAのKVキャッシュサイズはGQAと同じになり、2つのバリアントは非常に似たように振る舞いました（MQAはFFN次元がわずかに大きいだけです）。
A.2.2 事前学習モデル評価の追加の詳細
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
latency on smaller batches. Outputlengthisﬁxedat128tokens. Theﬁrstdatapointcorrespondstobatch
size 1, and then we double it until the model runs out of memory. The MHA variant triggers an out-ofmemory error at a batch size of 1024 for a context of 256 tokens and at a batch size of 128 for 2k context,
whereas MQA and GQA have successful runs in those settings.
Therefore,basedontheablationresultsandeaseofscalinginference,forthe34Band70B L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models
we chose to use GQA instead of MQA.
Figure 24 shows how inference speed changed for the 30B GQA and MQA ablation models compared to the
MHAbaseline,inanexperimentusing8x80GiBA100swithtensorparallelism. Intheserunswesimply
duplicated the KV heads for MQA in all GPUs, so the KV cache size for MQA became equal to the GQA and
the two variants behaved very similar (with MQA just having a slightly larger FFN dimension).
A.2.2 Additional Details for Pretrained Models Evaluation