Llama 2: オープンファンデーションと微調整されたチャットモデル
質的な結果は、この緊張を具現化する。図32は、安全な応答と安全でない応答の安全性テストセットでの助けになるモデルスコアの散布図である。緊張は、安全な応答のプロット（左）の底の右隅（すなわち、高い安全性スコアだが低い助けになるスコア）と、安全でない応答のプロット（右）の左上隅（すなわち、低い安全性スコアだが高い助けになるスコア）で観察できる。また、表35において、安全性と助けになる報酬モデルが互いに同意しない質的な例を2つリストアップしている。
A.4.2 安全データのスケーリングに関する質的な結果
セクション4.2.3では、モデルRLHFにより多くの安全データを追加することの影響を定量的に研究している。ここでは、表36、37、38において安全データを定量的に拡大することでモデルの振る舞いの進化を質的に検証するいくつかのサンプルを紹介する。一般的に、私たちはL/l.sc/a.sc/m.sc/a.sc/t.scがより安全に応答することを観察している。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
qualitativeresultstomanifestthistension. Figure32aretwoscatterplotsofhelpfulnessandsafetyreward
model scores on the safety test set for safe and unsafe responses. The tension can be observed at the bottom
right corner (i.e., high safety score but low helpfulness score) in the safe response plot (left) and the top left
corner (i.e., low safety score but high helpfulness score) in the unsafe response plot (right). We also list two
qualitative examples where safety and helpfulness reward models don’t agree with each other in Table 35.
A.4.2 Qualitative Results on Safety Data Scaling
In Section 4.2.3, we study the impact of adding more safety data into model RLHF in a quantitative manner.
Hereweshowcaseafewsamplestoqualitativelyexaminetheevolutionofmodelbehaviorwhenwescale
safetydatainTables36,37,and38. Ingeneral,weareobservingthat L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc becomessaferresponding