Llama 2: オープンファンデーションとファインチューニングされたチャットモデル
人間の注釈者によって手書きされ、これにより、RLHFのための優先度ベースの注釈により多くの注釈作業を再割り当てできる可能性が示唆されました。
ファインチューニングの詳細。教師ありファインチューニングでは、初期学習率を2×10^(-5)、重み減衰を0.1、バッチサイズを64、シーケンス長を4096トークンとしたコサイン学習率スケジュールを使用します。
ファインチューニングプロセスでは、各サンプルはプロンプトと回答で構成されます。モデルのシーケンス長が適切に埋められるようにするために、トレーニングセットからすべてのプロンプトと回答を連結します。特別なトークンを使用してプロンプトと回答のセグメントを分離します。自己回帰的な目的を使用し、ユーザープロンプトのトークンの損失をゼロにし、その結果、回答トークンのみでバックプロパゲーションを行います。最後に、モデルを2エポックでファインチューニングします。
3.2 人間フィードバックを用いた強化学習（RLHF）
RLHFは、人間の好みや指示によりモデルの振る舞いを調整するためにファインチューニングされた言語モデルに適用されるモデルトレーニング手順です。経験的に代表されるデータを収集します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
handwritten by human annotators, suggesting that we could reprioritize and devote more annotation eﬀort
to preference-based annotation for RLHF.
Fine-Tuning Details. For supervised ﬁne-tuning, we use a cosine learning rate schedule with an initial
learning rate of 2105, a weight decay of 0.1, a batch size of 64, and a sequence length of 4096 tokens.
For the ﬁne-tuning process, each sample consists of a prompt and an answer. To ensure the model sequence
lengthisproperlyﬁlled,weconcatenateallthepromptsandanswersfromthetrainingset. Aspecialtokenis
utilizedtoseparatethepromptandanswersegments. Weutilizeanautoregressiveobjectiveandzero-out
the loss on tokens from the user prompt, so as a result, we backpropagate only on answer tokens. Finally, we
ﬁne-tune the model for 2 epochs.
3.2 Reinforcement Learning with Human Feedback (RLHF)
RLHFisamodeltrainingprocedurethatisappliedtoaﬁne-tunedlanguagemodeltofurther alignmodel
behavior with human preferences and instruction following. We collect data that represents empirically
9