ラマ2：オープンファンデーションと微調整されたチャットモデル
各変種について、安全性と有用性の報酬モデルを使用して、それぞれメタ安全性および有用性のテストセット内のプロンプトに対応するモデル生成をスコア付けします。
図15に示すように、安全性および有用性のモデルパフォーマンスのプロキシとして、平均報酬モデルスコアを使用します。リスクのあるプロンプトや敵対的なプロンプトの取り扱いにおいて、安全データの割合を増やすと、モデルのパフォーマンスが劇的に向上し、安全報酬モデルスコア分布にはより軽いテールが見られます。一方、平均有用性スコアは一定です。私たちは、すでに十分な量の有用性トレーニングデータを持っているため、と仮説を立てます。付録A.4.2には、トレーニングデータ内の安全性の量がモデルの振る舞いを敵対的および非敵対的なプロンプトに対する応答にどのように変えるかを示すより質的な結果がリストされています。
安全データの割合（％）0.5750.6000.6250.6500.6750.7000.7250.7500.775平均報酬モデルスコア
安全性
有用性安全データの割合0％
安全データの割合1％
安全データの割合10％
安全データの割合25％
安全データの割合50％
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
25
each variant, we use the safety and helpfulness reward models to score model generations corresponding to
prompts in the Meta Safety and Helpful test sets, respectively.
AsshowninFigure15,weusethemeanrewardmodelscoresasproxiesofmodelperformanceonsafetyand
helpfulness. Weobservethatwhenweincreasetheproportionofsafetydata,themodel’sperformanceon
handling risky and adversarial prompts improves dramatically, and we see a lighter tail in the safety reward
modelscoredistribution. Meanwhile,themeanhelpfulnessscoreremainsconstant. Wehypothesizethat
this is because we already have a suﬃciently large amount of helpfulness training data. Appendix A.4.2 lists
more qualitative results that demonstrate how diﬀerent amounts of safety data in training can change model
behavior in responding to adversarial and non-adversarial prompts.
0 25 50 75 100
Safety Data Pct. (%)0.5750.6000.6250.6500.6750.7000.7250.7500.775Mean Reward Model Score
Safety
HelpfulnessSafety Data Pct. 0%
Safety Data Pct. 1%
Safety Data Pct. 10%
Safety Data Pct. 25%
Safety Data Pct. 50%