Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
長いコンテキストモデルは、さまざまな汎用タスクで強力なパフォーマンスを維持することができます。
グループ化されたクエリアテンション。自己回帰デコーディングの標準的な実践は、シーケンス内の前のトークンのためにキー（K）と値（V）のペアをキャッシュして、アテンション計算を高速化することです。ただし、コンテキストウィンドウやバッチサイズが増加すると、マルチヘッドアテンション（MHA）モデルのKVキャッシュサイズに関連するメモリコストが大幅に増加します。KVキャッシュサイズがボトルネックとなる大きなモデルでは、パフォーマンスの劣化がほとんどないまま、複数のヘッド間でキーと値のプロジェクションを共有することができます（Chowdhery et al.、2022）。元のマルチクエリフォーマットと単一のKVプロジェクション（MQA、Shazeer、2019）または8つのKVプロジェクションを持つグループ化されたクエリアテンションバリアント（GQA、Ainslie et al.、2023）のいずれかを使用できます。表18では、MHAベースラインとMQAおよびGQAバリアントを比較しています。すべてのモデルを150Bトークンでトレーニングし、固定された30Bモデルサイズを維持します。GQAとMQAの間で全体的なパラメータ数を同じに保つために、アテンションの削減を補うためにフィードフォワードレイヤーの次元を増やします。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
that the longer context model retains strong performance on various general-purpose tasks.
Grouped-Query Attention. Astandardpracticeforautoregressivedecodingistocachethekey(K)and
value (V) pairs for the previous tokens in the sequence, speeding up attention computation. With increasing
context windows or batch sizes, however, the memory costs associated with the KV cache size in multi-head
attention (MHA) models grow signiﬁcantly. For larger models, where KV cache size becomes a bottleneck,
keyandvalueprojectionscanbesharedacrossmultipleheadswithoutmuchdegradationofperformance
(Chowdheryetal.,2022). Eithertheoriginalmulti-queryformatwithasingleKVprojection(MQA, Shazeer,
2019) or a grouped-query attention variant with 8 KV projections (GQA, Ainslie et al., 2023) can be used.
In Table 18, we compare MQA and GQA variants with an MHA baseline. We train all models with 150B
tokens while keeping a ﬁxed 30B model size. To keep a similar overall parameter count across GQA and
MQA, we increase the dimension of the feed-forward layers to compensate for the reduction in the attention