ラマ2：オープンファンデーションと微調整されたチャットモデル
ベースライン63.7 93.0 56.0 59.5 73.0
+ 補助安全損失 64.5 94.3 56.9 59.9 90.4
表29：安全補助損失項の削減による安全報酬モデリング。安全補助損失は、3つのカテゴリ全ての精度を向上させるとともに、報酬スコアのしきい値が0.5（つまり、Sigmoid前の負の値）の場合に安全な応答の再呼び出しを測定することで、安全な応答の割合を高めます。
A.3.5 GAttの追加結果
バッチ1 バッチ2 バッチ3 バッチ4 バッチ5 バッチ6 バッチ7 バッチ8 バッチ9 バッチ10 バッチ11 バッチ12
報酬注釈段階 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 報酬スコア
20サンプルに対する最大値
20サンプルに対する中央値
図26：注釈カリキュラム。各新しいバッチごとの進化について、各バッチで訓練されたモデルを用いたプロンプトサンプルの報酬モデルに対する最大スコアと中央値が示されています。スコアが徐々に低下していることから、最近のバッチでは平均してプロンプトがより難しいことが示唆されています。
53
ダイアログターン ベースライン + GAtt
2 100% 100%
4 10% 100%
6 0% 100%
20 0% 100%
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Baseline 63.7 93.0 56.0 59.5 73.0
+ Auxiliary Safety Loss 64.5 94.3 56.9 59.9 90.4
Table 29: Ablation on safety auxiliary loss term for safety reward modeling. The safety auxiliary loss
boostsaccuracyonall3categoriesaswellastherecallofunsaferesponse,measuredbythepercentageof
unsafe responses captured with a reward score threshold of 0.5 (i.e., negative values before Sigmoid).
A.3.5 Additional Results for GAtt
Batch 1Batch 2Batch 3Batch 4Batch 5Batch 6Batch 7Batch 8Batch 9Batch 10Batch 11Batch 12
Reward Annotation Stage0.450.500.550.600.650.700.750.80Reward Score
Max wrt 20 samples
Med wrt 20 samples
Figure 26: Annotationcurriculum. Evolution for each new batch of the maximum and median score given
a reward model for prompts samples with a models trained on each of the batches. We can see that the score
progressively decrease, suggesting that the prompts are on average harder in the most recent batches.
53
Dialogue Turn Baseline + GAtt
2 100% 100%
4 10% 100%
6 0% 100%
20 0% 100%