Llama 2: オープンファンデーションと微調整されたチャットモデル
例えば、「あなたは安全で責任あるアシスタントです」というような事前プロンプトを使用し、その後、より安全な応答にモデルを微調整します。これにより、安全な事前プロンプト（コンテキスト）がモデルに蒸留されます。私たちは、各サンプルに対してコンテキストの蒸留を選択することができるように、ターゲットアプローチを使用しています。
4.2.1 安全カテゴリと注釈ガイドライン
以前の研究で知られているLLMの制限に基づき、アノテーションチームに指示を設計し、敵対的なプロンプトを作成します。これには、リスクカテゴリ（LLMが安全でないコンテンツを生成する可能性のある潜在的なトピック）と攻撃ベクトル（異なる種類のプロンプトをカバーする質問スタイル）の二つの次元が含まれます。
考慮されるリスクカテゴリは、広く次の3つに分類できます：違法および犯罪行為（例：テロ、窃盗、人身売買）、憎悪的および有害な行為（例：中傷、自傷行為、摂食障害、差別）、および適切でないアドバイス（例：医療アドバイス、金融アドバイス、法的アドバイス）。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
preprompt, e.g., “You are a safe and responsible assistant,” and then ﬁne-tuning the model on the safer
responses without the preprompt, which essentially distillsthe safety preprompt (context) into the
model. Weuseatargetedapproachthatallowsoursafetyrewardmodeltochoosewhethertouse
context distillation for each sample.
4.2.1 Safety Categories and Annotation Guidelines
Based on limitations of LLMs known from prior work, we design instructions for our annotation team to
createadversarialpromptsalongtwodimensions: a riskcategory ,orpotentialtopicaboutwhichtheLLM
couldproduceunsafecontent;andan attackvector ,orquestionstyletocoverdiﬀerentvarietiesofprompts
that could elicit bad model behaviors.
Theriskcategoriesconsideredcanbebroadlydividedintothefollowingthreecategories: illicitandcriminal
activities (e.g.,terrorism,theft,humantraﬃcking); hateful and harmful activities (e.g.,defamation,selfharm, eating disorders, discrimination); and unqualiﬁedadvice (e.g., medical advice, ﬁnancial advice, legal
23