Llama 2: オープンファンデーションと微調整されたチャットモデル
訓練された注釈者からのモデル応答のデータを使用し、セクション3.1で説明されているのと同じ方法で監督された微調整のためにデータを使用します。例は表5にあります。
注釈者は、まず、モデルが安全でない振る舞いを引き起こす可能性があると考えるプロンプトを考えるよう指示されます。つまり、ガイドラインで定義されているように、レッドチーミングを行います。その後、注釈者は、モデルが生成すべき安全で役立つ応答を作成するように指示されます。
4.2.3 安全性RLHF
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scの開発の初期に、監督された微調整から安全なデモンストレーションから一般化できることを観察します。モデルはすぐに詳細な安全な応答を書くこと、安全上の懸念に対処すること、なぜそのトピックが敏感であるかを説明すること、追加の役立つ情報を提供することを学びます。特に、モデルが安全な応答を出力すると、それらは通常、平均注釈者が書くよりも詳細です。そのため、わずか数千の監督されたデモンストレーションを収集した後、私たちは完全にRLHFに切り替えました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
ofsafemodelresponsesfromtrainedannotators,andusethedataforsupervisedﬁne-tuninginthesame
manner as described in Section 3.1. An example can be found in Table 5.
The annotators are instructed to initially come up with prompts that they think could potentially induce
themodel toexhibit unsafebehavior, i.e.,perform redteaming, asdeﬁned bythe guidelines. Subsequently,
annotators are tasked with crafting a safe and helpful response that the model should produce.
4.2.3 Safety RLHF
Weobserveearlyinthedevelopmentof L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc thatitisabletogeneralizefromthesafedemonstrations
insupervisedﬁne-tuning. Themodelquicklylearnstowritedetailedsaferesponses,addresssafetyconcerns,
explainwhythetopicmightbesensitive,andprovideadditionalhelpfulinformation. Inparticular,when
the model outputs safe responses, they are often more detailed than what the average annotator writes.
Therefore, after gathering only a few thousand supervised demonstrations, we switched entirely to RLHF to