Llama 2: オープンファンデーションと微調整されたチャットモデル
モデルは安全な応答を出力しますが、それらは通常、平均的な注釈者が書くよりも詳細です。
したがって、数千の監督されたデモンストレーションを収集した後、私たちは完全にRLHFに切り替えて、モデルにより洗練された応答の書き方を教えるようにしました。 RLHFによる包括的な調整には、モデルをジェイルブレイクの試みに対してより堅牢にする可能性があるという追加の利点があります（Bai et al.、2022a）。
私たちは、まずセクション3.2.2に似た安全性のための人間の選好データを収集し、その後、複数のモデル応答をプロンプトと比較して、一連のガイドラインに従って最も安全な応答を選択することでRLHFを実施します。 次に、人間の選好データを使用して安全報酬モデルをトレーニングし（セクション3.2.2を参照）、また、RLHF段階でモデルからサンプリングするために敵対的なプロンプトを再利用します。
安全性を損なうことなく、より良いロングテールの安全性の堅牢性を向上させる。安全性は本質的にロングテールの問題であり、課題は非常に特定のケースの数が少ないことから生じます。私たちは、安全性の影響を調査します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
the model outputs safe responses, they are often more detailed than what the average annotator writes.
Therefore, after gathering only a few thousand supervised demonstrations, we switched entirely to RLHF to
teachthemodelhowtowritemorenuancedresponses. ComprehensivetuningwithRLHFhastheadded
beneﬁt that it may make the model more robust to jailbreak attempts (Bai et al., 2022a).
WeconductRLHFbyﬁrstcollectinghumanpreferencedataforsafetysimilartoSection3.2.2: annotators
writeapromptthattheybelievecanelicitunsafebehavior,andthencomparemultiplemodelresponsesto
theprompts,selectingtheresponsethatissafestaccordingtoasetofguidelines. Wethenusethehuman
preference data to train a safety reward model (see Section 3.2.2), and also reuse the adversarial prompts to
sample from the model during the RLHF stage.
BetterLong-TailSafetyRobustnesswithoutHurtingHelpfulness Safetyisinherentlyalong-tailproblem,
wherethe challengecomesfrom asmallnumber ofveryspeciﬁc cases. Weinvestigatetheimpact ofSafety