Llama 2: オープンファンデーションと微調整されたチャットモデル
安全データパーセント1％
安全データパーセント10％
安全データパーセント25％
安全データパーセント50％
0.0 0.2 0.4 0.6 0.8 1.0
安全報酬モデルスコア安全データパーセント100％
図15：安全データのスケーリングトレンド。左：モデルトレーニングにおける安全データの量を増やすと、平均安全RMスコアが著しく改善される一方、有益な対応策は比較的安定しています。右：安全トレーニングデータの追加により、安全RMスコアの左側のテール（つまり、最も安全でない応答）が徐々に消失していきます。
誤拒否の測定。モデルの有益性全体の回帰は見られませんが、相互作用を通じて、より多くの安全緩和を持つモデルがある種の質問により保守的な方法で答えることを質的に観察します（例：付録表38に示されている例）。その後、非敵対的なプロンプトに対するモデルの誤った拒否を測定するために、偽の拒否を測定します。ここでは、偽の拒否を、関連性のない安全上の懸念により正当なユーザープロンプトに答えることを誤って拒否するモデルと定義します。モデルの能力を超える合理的な原因による拒否、例えば、「私は能力がありません」という理由による拒否は含まれません。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Safety Data Pct. 1%
Safety Data Pct. 10%
Safety Data Pct. 25%
Safety Data Pct. 50%
0.0 0.2 0.4 0.6 0.8 1.0
Safety Reward Model ScoreSafety Data Pct. 100%
Figure 15: Safety data scaling trends. Left: asweincreasetheamount ofsafetydatain modeltraining,the
mean safety RM score improves signiﬁcantly while the helpfulness counterpart remains relatively stable.
Right: the left tail of safety RM scores (i.e., most unsafe responses) gradually disappears with the addition of
more safety training data.
MeasureofFalseRefusal. Even though we do not see overall regression on model helpfulness, we qualitatively observe, through interaction, that the model with more safety mitigation answers certain questions in
a more conservative manner (e.g., example shown in Appendix Table 38). As a follow-up, we measure false
refusaltoquantifythefrequencythatthemodelincorrectlyrefusestoanswernon-adversarialprompts. Here,
we deﬁne false refusal as the model incorrectly refusing to answer legitimate user prompts due to irrelevant
safety concerns. Refusing due to reasonable causes exceeding the model’s capability, e.g., “I am not capable of