Llama 2: オープンファンデーションと微調整されたチャットモデル
図14の右側のy=x線の下のパターンは、RLHFでの安全チューニング後も、助けになるスコアの分布が保持されていることを示しています。言い換えると、十分な助けになるトレーニングデータが与えられた場合、安全緩和の追加段階が助けになるモデルの性能に顕著な劣化をもたらさないことがわかります。定性的な例は、表12に示されています。
安全データのスケーリングの影響。以前の研究（Bai et al.、2022a）で、LLMの助けになる性能と安全性の間に緊張が観察されています。特に助けになる性能に影響を与える安全トレーニングデータの追加が、一般的なモデルの性能にどのように影響するかをよりよく理解するために、RLHFステージで使用する安全データの量を調整して安全データのスケーリングの傾向を調査します。この削減実験では、助けになるトレーニングデータの量を変更せずに（約0.9Mサンプル）、モデルのチューニングに使用する安全データの量を0％から100％（約0.1Mサンプル）まで段階的に増やします。特定のトレーニングデータのミックスレシピについては、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
patternbelowthe y=xlineontherighthandsideofFigure14,whichindicatesthatthehelpfulnessscore
distributionispreservedaftersafetytuningwithRLHF.Putanotherway,givensuﬃcienthelpfulnesstraining
data, the addition of an additional stage of safety mitigation does not negatively impact model performance
on helpfulness to any notable degradation. A qualitative example is shown in Table 12.
Impactof SafetyData Scaling. AtensionbetweenhelpfulnessandsafetyofLLMshasbeenobservedin
previous studies (Bai et al., 2022a). To better understand how the addition of safety training data aﬀects
general model performance, especially helpfulness, we investigate the trends in safety data scaling by
adjustingtheamountofsafetydatausedintheRLHFstage. Inthisablationexperiment,wekeeptheamount
of helpfulness training data unchanged ( 0.9M samples) and gradually increase the amount of safety data
used in model tuning, ranging from 0% to 100% ( 0.1M samples). For the speciﬁc training data mix recipe,