Llama 2: オープンファンデーションと微調整されたチャットモデル
一般的なプリプロンプトを追加し、リスクカテゴリに基づいた適合回答テンプレートを追加する際に。一般的なプリプロンプトは安全RMスコアを向上させますが、適合回答テンプレートを持つプリプロンプトはさらに助けになります。正しい：コンテキスト蒸留は、最初に低いスコアを持つサンプルのRMスコアを著しく向上させますが、最初に高いスコアを持つサンプルには悪影響を及ぼすこともあります。したがって、RMスコアを向上させる場合にのみ、ターゲットサンプルにコンテキスト蒸留を適用します。
安全報酬モデルによるコンテキスト蒸留エラーの拒否
役立つプロンプトのための安全コンテキスト蒸留を実行することは、モデルのパフォーマンスを低下させ、より多くの誤った拒否につながる可能性があることを重要視する必要があります（付録表40を参照）。したがって、安全コンテキスト蒸留は敵対的なプロンプトにのみ実行します。ただし、敵対的なプロンプトを扱う場合でも、コンテキスト蒸留が応答品質を低下させることがあることが観察されました。具体的には、モデルの応答がすでに高品質である場合、コンテキスト蒸留の適用は、プリプロンプトを過度に強調し、しばしば一般的な懸念に過度に頼ることで、関連性のない返答をもたらすことがあります（コンテキスト蒸留による曖昧な回答の例については付録表40を参照）。したがって、安全報酬モデルを活用して、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
adding a generic preprompt, and when adding a preprompt based on the risk category with tailored answer
template. While a generic preprompt increases safety RM scores, a preprompt with tailored answer template
helpsevenmore. Right:ContextdistillationincreasestheRMscoresigniﬁcantlyforsamplesthatinitially
have a low score, but can also have a detrimental eﬀect on samples that initially have a high score. We
therefore only apply context distillation on targeted samples when it increases RM score.
RejectingContextDistillationErrorswiththeSafetyRewardModel Itisimportanttonotethatperformingsafetycontextdistillationforhelpfulpromptscandegrademodelperformanceandleadtomorefalse
refusals (see Appendix Table 40). We therefore perform safety context distillation only on adversarial
prompts. However, we observed that context distillation can sometimes degrade response quality, even
when dealing with adversarial prompts. Speciﬁcally, if the model responses are already of high quality, the
applicationofcontextdistillationcanresultinlesspertinentreplies,asthemodeltendstooveremphasize
the preprompt, often resorting to generic concerns excessively (see Appendix Table 40 for an example of
vague answers due to context distillation). We thus leverage the safety reward model to decide whether to