ラマ2：オープンファンデーションと微調整されたチャットモデル
モデルチューニングに使用される、0％から100％（0.1Mサンプル）までの範囲。特定のトレーニングデータミックスのレシピについては、セクション3.1で説明されている手順に従い、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleの事前学習済みモデルを2エポックで微調整します。
最終的に、総安全データの0％、1％、10％、25％、50％、100％でトレーニングされた6つのモデルバリアントを取得します。セクション3.2.2で説明されている安全性と役立ち報酬モデルを使用して評価します。安全RLHFによる影響の図14：報酬モデルスコア分布による安全RLHFの影響。左：メタセーフティテストセットの世代の安全報酬モデルスコア。サンプルのクラスタリングは左上隅にあります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
used in model tuning, ranging from 0% to 100% ( 0.1M samples). For the speciﬁc training data mix recipe,
we follow the procedure described in Section 3.1 and ﬁne-tune L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle pretrained model for 2 epochs.
We eventually obtain 6 model variants trained with 0%, 1%, 10%, 25%, 50%, and 100% of the total safety
data. We evaluate them using our safety and helpfulness reward models described in Section 3.2.2. For
24
0.0 0.2 0.4 0.6 0.8 1.0
Safety RM Score before Safety RLHF0.00.20.40.60.81.0Safety RM Score after Safety RLHF
Safety 
 Improvement01000
01000
0.0 0.2 0.4 0.6 0.8 1.0
Helpfulness RM Score before Safety RLHF0.00.20.40.60.81.0Helpfulness RM Score after Safety RLHF
01000
01000Figure 14: Impact of safety RLHF measured by reward model score distributions. Left: safety reward
model scores of generations on the Meta Safety test set. The clustering of samples in the top left corner