Llama 2: オープンファンデーションと微調整されたチャットモデル（Askell et al.、2021a）は、3.3節と類似しています。LLMの安全性能は、モデルに安全なプリプロンプト（例：「あなたは安全で責任あるアシスタントです」）を前置することで効果的に向上させることができることを観察します。監督された安全性の微調整と同様に、安全性コンテキストの蒸留は、モデルの応答をハードな敵対的なプロンプトに素早くブートストラップする方法を提供し、その後RLHFでさらに改善できます。具体的には、安全性のプリプロンプトを敵対的なプロンプトに前置して安全な応答を生成し、その後プリプロンプトなしで敵対的なプロンプトに対するモデルの安全な出力を微調整します。安全性のプリプロンプトは、テンプレートを使用して自動的に生成します。特に、「責任ある」「尊重する」「賢明な」などの安全な行動に関連するさまざまな形容詞を使用し、これらがモデルが安全な回答に反映されることを望む肯定的な特性と関連付けることを直感的に行います。安全性のプリプロンプトの例を付録の表39に示します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
(Askell et al., 2021a) similar to Section 3.3. We observe that the safety capabilities of LLMs can be eﬃciently
enhanced by preﬁxing the model with a safety preprompt (e.g., “You are a safe and responsible assistant” ).
Like supervised safety ﬁne-tuning, safety context distillation provides a quick way to bootstrap the model’s
responses on hard adversarial prompts, so that they can then be further improved in RLHF.
Speciﬁcally, we apply context distillation by preﬁxing a safety preprompt to adversarial prompts to generate
saferresponses,andthenﬁne-tunethemodelonitsownsafeoutputgiventheadversarialpromptwithout
the preprompt. We generate safety preprompts automatically with templates. In particular, we use various
adjectivesusuallyassociatedwithsafebehaviorsuchas “responsible,”“respectful’,’ or“wise,”withtheintuition
thatthemodelassociatesthemwithpositivetraitsthatwewanttoseereﬂectedinsafeanswers. Weshow
examples of safety preprompts in Appendix Table 39.