Llama 2: オープンファンデーションとファインチューンされたチャットモデル
私たちは、Meta Safetyテストセットの結果を示した表29に示されているように、安全補助損失の影響を取り除きました。
予想通り、カスタマイズされた損失は、報酬スコア0.5を閾値（シグモイド前の負の値）として使用するときに、安全でない応答の再現率を改善し、それによってRLHFに対してより良い安全報酬信号を提供します。モデルが安全なモデル生成と危険なモデル生成を区別するように教えることも、3つのサブカテゴリーでモデルの精度を向上させます。
52
1234567891011121314
メタ優先データバッチステージ10152025303540パーセンテージ（％）
著しく良い
良いわずかに良い
無視できるほど良い/不確か図25：バッチごとの人間の優先データ評価の分布。時間の経過とともに、L/l.sc/a.sc/m.sc/a.sc/t.scでトレーニングされたモデルが利用可能になり、不確かまたは無視できるほど良い評価のサンプルの割合が大きくなります。
AvgSafe Chosen
Unsafe RejectedSafe Chosen
Safe RejectedUnsafe Chosen
Unsafe RejectedUnsafe Response
Recall
ベースライン63.7 93.0 56.0 59.5 73.0
+ 補助安全損失 64.5 94.3 56.9 59.9 90.4
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
We ablated the impact of the safety auxiliary loss with results on the Meta Safety test set shown in Table 29.
As expected, The customized loss improves the recall of unsafe responses when we use a reward score of 0.5
as the threshold (negative before Sigmoid) and thus oﬀers a better safety reward signal for RLHF. Teaching
themodeltodiscriminatebetweensafeandunsafemodelgenerationsalsoimprovesmodelaccuracyonthree
subcategories.
52
1234567891011121314
Meta Preference Data Batch Stage10152025303540Percentage (%)
Significantly Better
BetterSlightly Better
Negligibly Better / UnsureFigure 25: Distribution of human preference data rating over batches. Over time, the share of samples
with an unsure or negligibly better rating become larger with better performing L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc trained and
available for preference data annotation.
AvgSafe Chosen
Unsafe RejectedSafe Chosen
Safe RejectedUnsafe Chosen
Unsafe RejectedUnsafe Response
Recall
Baseline 63.7 93.0 56.0 59.5 73.0
+ Auxiliary Safety Loss 64.5 94.3 56.9 59.9 90.4