Llama 2: オープンファンデーションと微調整されたチャットモデル
付録表39の安全な事前プロンプトの例。
回答テンプレートを使用したコンテキスト蒸留中、プロンプト収集段階では、アノテーターにリスクカテゴリに基づいてプロンプトにラベルを付けるようにも求めました。これにより、特定のリスクカテゴリに基づいて対処すべき敵対的なプロンプトに対する回答テンプレートを提供できるようになります。図16aは、コンテキスト蒸留と回答テンプレート付きのコンテキスト蒸留が安全RMスコアに与える影響を示しています。
27
0 0.2 0.4 0.6 0.8 10123456
モデル
ベース
+ 一般的な事前プロンプト
+ 回答テンプレート付き事前プロンプト
安全RMスコアパーセント（a）安全RMスコアへの影響。
0 0.2 0.4 0.6 0.8 1−0.6−0.4−0.200.20.40.60.8
選択？
選択
拒否
元の安全RMスコアCDによるスコアの増加（b）ターゲットコンテキスト蒸留。
図16：コンテキスト蒸留分析。左：一般的な事前プロンプトを追加したときのベースモデルからの安全RMスコアの分布、およびリスクカテゴリに基づいた事前プロンプトを追加したときの分布。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
examples of safety preprompts in Appendix Table 39.
ContextDistillationwithAnswerTemplates Duringthepromptcollectionphase,wealsoaskedannotators
tolabelpromptsaccordingtoriskcategories,whichenablesevenmoretargetedpreprompts. Speciﬁcally,
this allows us to provide some dedicated answer templates of how adversarial prompts should be addressed,
based on each identiﬁed risk category. Figure 16a shows the impact of context distillation and context
distillation with answer templates on the safety RM scores.
27
0 0.2 0.4 0.6 0.8 10123456
Model
Base
+ Generic Preprompt
+ Preprompt w/ Answer T emplate
Safety RM ScorePercent(a)Impact on Safety RM Score.
0 0.2 0.4 0.6 0.8 1−0.6−0.4−0.200.20.40.60.8
Selected?
Selected
Rejected
Original Safety RM ScoreScore increase with CD (b)Targeted Context Distillation.
Figure 16: Contextdistillation analysis. Left: Distribution of safety RM scores from the base model, when
adding a generic preprompt, and when adding a preprompt based on the risk category with tailored answer