Llama 2: オープンファンデーションとファインチューンされたチャットモデル
ミニバッチあたりの勾配ステップ。 7Bおよび13Bモデルでは、我々は= 0:01（KLペナルティ）を設定し、34Bおよび70Bモデルでは、我々は= 0:005を設定します。
図9：マルチターンメモリの問題（左）はGAtt（右）で改善できます。
すべてのモデルについて、200から400回のイテレーションでトレーニングし、保持されたプロンプトの評価を使用して早期停止を行います。 70BモデルでのPPOの各イテレーションは平均で約330秒かかります。 大規模なバッチサイズで迅速にトレーニングするために、FSDP（Zhao et al.、2023）を使用します。これはO（1）のフォワードまたはバックワードパスを使用すると効果的でしたが、大規模なバッチサイズやKVキャッシュを使用しても、生成中に大幅な遅延（約20倍）を引き起こしました。 我々は、生成前にモデルの重みを各ノードに統合し、その後生成後にメモリを解放し、トレーニングループの残りを再開することでこれを緩和することができました。
3.3 マルチターン一貫性のためのシステムメッセージ
対話設定では、いくつかの指示がすべての会話ターンに適用される必要があります。たとえば、簡潔に応答するようにするなど
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
gradient step per mini-batch. For the 7B and 13B models, we set = 0:01(KL penalty), and for the 34B and
70B models, we set = 0:005.
15
Figure 9: Issues with multi-turn memory (left)can be improved with GAtt (right).
We train for between 200and400iterations for all our models, and use evaluations on held-out prompts for
earlystopping. EachiterationofPPOonthe70Bmodeltakesonaverage 330seconds. Totrainquicklywith
large batch sizes, we use FSDP (Zhao et al., 2023). This was eﬀective when using O(1) forward or backward
passes,butcausedalargeslowdown( 20)duringgeneration,evenwhenusingalargebatchsizeandKV
cache. We were able to mitigate this by consolidating the model weights to each node once before generation
and then freeing the memory after generation, resuming the rest of the training loop.
3.3 System Message for Multi-Turn Consistency
In a dialogue setup, some instructions should apply for all the conversation turns, e.g., to respond succinctly,