Llama 2: オープンファンデーションと微調整されたチャットモデル
3.3 システムメッセージのマルチターン一貫性
対話設定では、すべての会話ターンに適用されるいくつかの指示があるべきです。たとえば、簡潔に返信するか、あるいは「ある公共の人物」として振る舞うことです。私たちがこのような指示をL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scに提供した場合、その後の応答は常にその制約を尊重するべきです。しかし、初期のRLHFモデルは、対話の数ターン後に初期の指示を忘れる傾向がありました。これは図9（左）で示されています。
これらの制限に対処するために、私たちはGhost Attention（GAtt）を提案します。これは、Context Distillation（Bai et al.、2022b）に触発された非常にシンプルな方法であり、マルチステージのプロセスで注意を集中させるためにファインチューニングデータをハックします。GAttは、図9（右）で示されているように、複数のターンにわたる対話制御を可能にします。
GAttメソッド。2人（たとえばユーザーとアシスタント）の間のマルチターンの対話データセットにアクセスできると仮定します。このデータセットには、メッセージのリスト[u1;a1;:::;un;an]が含まれており、unとanはユーザーと関連付けられています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
3.3 System Message for Multi-Turn Consistency
In a dialogue setup, some instructions should apply for all the conversation turns, e.g., to respond succinctly,
or to“act as”some public ﬁgure. When we provided such instructions to L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , the subsequent
response should always respect the constraint. However, our initial RLHF models tended to forget the initial
instruction after a few turns of dialogue, as illustrated in Figure 9 (left).
To address these limitations, we propose Ghost Attention (GAtt), a very simple method inspired by Context
Distillation (Bai et al., 2022b) that hacks the ﬁne-tuning data to help the attention focus in a multi-stage
process. GAtt enables dialogue control over multiple turns, as illustrated in Figure 9 (right).
GAttMethod. Assumewe haveaccess toa multi-turndialoguedataset betweentwo persons(e.g., auser
and an assistant), with a list of messages [u1;a1;:::;un;an], whereunandancorrespond to the user and