Llama 2: オープンファンデーションと微調整されたチャットモデル
そしてアシスタント）と、メッセージのリスト[u1;a1;:::;un;an]を持つ、ここでunとancorrespondは、それぞれターンnのユーザーとアシスタントのメッセージに対応しています。次に、対話全体で尊重されるべき指示、instを定義します。例えば、instは「～として行動する」とすることができます。その後、この指示を対話のすべてのユーザーメッセージに合成的に連結することができます。
次に、最新のRLHFモデルを使用してこの合成データからサンプリングすることができます。これで、コンテキスト対話とモデルを微調整するためのサンプルが得られます。これはRejection Samplingに類似したプロセスです。コンテキスト対話のすべてのターンに指示を追加する代わりに、最初のターン以外ではそれを削除することができますが、これはシステムメッセージ（つまり、最後のターンの前に来るすべての中間アシスタントメッセージ）とサンプルの間でトレーニング時間の不一致を引き起こす可能性があります。トレーニングに影響を与える可能性があるこの問題を解決するために、前のターン、つまりアシスタントメッセージを含むすべてのトークンの損失を単純に0に設定します。
トレーニング指示について、いくつかの合成制約を作成し、そこからサンプリングしました：趣味（「あなたは楽しむ
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
and an assistant), with a list of messages [u1;a1;:::;un;an], whereunandancorrespond to the user and
assistant messages for turn n, respectively. Then, we deﬁne an instruction, inst, that should be respected
throughout the dialogue. For example, instcould be “act as.” We can then synthetically concatenate this
instruction to all the user messages of the conversation.
Next, we can sample from this synthetic data using the latest RLHF model. We now have a context-dialogue
andthesamplewithwhichtoﬁne-tuneamodel,inaprocessanalogoustoRejectionSampling. Insteadof
augmentingallcontext-dialogueturnswiththeinstruction,wecandropitinallbuttheﬁrstturn,butthis
wouldleadtoamismatchattrainingtimebetweenthesystemmessage,i.e.,alltheintermediateassistant
messages that come before the last turn, and our sample. To ﬁx this issue, which could hurt the training, we
simply set the loss to 0 for all the tokens from the previous turns, including assistant messages.
For the training instructions, we created a few synthetic constraints to sample from: Hobbies ( “You enjoy