Llama 2: オープンファンデーションと微調整されたチャットモデル
23
攻撃ベクトルは、心理的操作（例：権威操作）、論理操作（例：誤った前提）、構文操作（例：つづりの間違い）、意味操作（例：比喩）、視点操作（例：役割演技）、非英語言語などが探求されます。
その後、安全で役立つモデルの応答のベストプラクティスを定義します：モデルはまず、該当する場合は直ちに安全上の懸念を対処し、その後、ユーザーに潜在的なリスクを説明してから、可能であれば追加情報を提供します。また、アノテーターには、ユーザーエクスペリエンスの負のカテゴリ（付録A.5.2を参照）を避けるように求めます。これらのガイドラインは、モデルのための一般的なガイドとして意図されており、新たに特定されたリスクを含めるように反復的に洗練され、改訂されます。
4.2.2 安全監督付き微調整
セクション4.2.1の確立されたガイドラインに従い、訓練されたアノテーターから安全なモデルの応答のプロンプトとデモンストレーションを収集し、そのデータを監督付き微調整に使用します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
23
advice). The attackvectors exploredconsist ofpsychological manipulation(e.g., authoritymanipulation),
logic manipulation (e.g., false premises), syntactic manipulation (e.g., misspelling), semantic manipulation
(e.g., metaphor), perspective manipulation (e.g., role playing), non-English languages, and others.
Wethendeﬁnebestpracticesforsafeandhelpfulmodelresponses: themodelshouldﬁrstaddressimmediate
safetyconcernsifapplicable,thenaddressthepromptbyexplainingthepotentialriskstotheuser,andﬁnally
provide additional information if possible. We also ask the annotators to avoid negative user experience
categories (see Appendix A.5.2). The guidelines are meant to be a general guide for the model and are
iteratively reﬁned and revised to include newly identiﬁed risks.
4.2.2 Safety Supervised Fine-Tuning
InaccordancewiththeestablishedguidelinesfromSection4.2.1,wegatherpromptsanddemonstrations
ofsafemodelresponsesfromtrainedannotators,andusethedataforsupervisedﬁne-tuninginthesame