ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
セクション3で説明されているファインチューニング手法を使用し、安全性に関連するいくつかの注目すべき違いがあります。
具体的には、安全なファインチューニングに以下の技術を使用しています。
1. 監督された安全なファインチューニング：敵対的なプロンプトと安全なデモンストレーションを収集して、一般的な監督されたファインチューニングプロセス（セクション3.1）に含めます。これにより、RLHFの前にモデルを安全ガイドラインに合わせることができ、高品質の人間の選好データ注釈の基盤を築きます。
2. 安全なRLHF：その後、セクション3.2.2で説明されている一般的なRLHFパイプラインに安全性を統合します。これには、安全に特化した報酬モデルのトレーニングや、拒否サンプリングスタイルのファインチューニングやPPO最適化のためのより困難な敵対的なプロンプトの収集が含まれます。
3. 安全なコンテキスト蒸留：最後に、コンテキスト蒸留（Askell et al.、2021b）を使用してRLHFパイプラインを洗練させます。これには、安全なモデルの応答を生成するために、プロンプトの前に安全なプリプロンプト（例：「あなたは安全で責任あるアシスタントです」）を付けて、モデルを安全にファインチューニングすることが含まれます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
ﬁne-tuning methods as described in Section 3, with some notable diﬀerences related to safety concerns.
Speciﬁcally, we use the following techniques in safety ﬁne-tuning:
1.Supervised Safety Fine-Tuning : We initialize by gathering adversarial prompts and safe demonstrations that are then included in the general supervised ﬁne-tuning process (Section 3.1). This
teachesthemodeltoalignwithoursafetyguidelinesevenbeforeRLHF,andthuslaysthefoundation
for high-quality human preference data annotation.
2.Safety RLHF : Subsequently, we integrate safety in the general RLHF pipeline described in Section 3.2.2. This includes training a safety-speciﬁc reward model and gathering more challenging
adversarial prompts for rejection sampling style ﬁne-tuning and PPO optimization.
3.SafetyContextDistillation : Finally,wereﬁneourRLHFpipelinewithcontextdistillation(Askell
etal.,2021b). Thisinvolvesgeneratingsafermodelresponsesbypreﬁxingapromptwithasafety
preprompt, e.g., “You are a safe and responsible assistant,” and then ﬁne-tuning the model on the safer