Llama 2: オープンファンデーションと微調整されたチャットモデル
GPT4 58.6 58.1 - - - - 安全RM 56.2 64.5 55.4 74.7 71.7 65.2 64.3
役立ちRM 63.2 62.8 72.0 71.0 75.5 80.0 70.6
Table7: 報酬モデルの結果。私たちの最終的な役立ち度と安全性の報酬モデルのパフォーマンスは、多様な人間の選好ベンチマークにおいて行われます。私たちのモデルは、他のベースラインとは異なり、収集したデータに微調整されています。
テストセット有意に
より良いより良いわずかに
より良い無視可能に
より良い/不確か平均
安全RMメタ安全94.3 76.3 65.7 55.3 64.5
役立ちRM 89.9 73.2 63.8 54.5 62.8
安全RMメタ役立ち64.6 57.5 53.8 52.2 56.2
役立ちRM 80.7 67.5 60.9 54.7 63.2
Table 8: 好みの評価ごとの報酬モデルの精度。私たちはMetaHelpfulnessおよびSafetyテストセット上での役立ち度および安全性報酬モデルの好みごとの精度を報告しています。報酬モデルは、より明確な応答（例：有意に良い）において優れた精度を示し、より低い精度を示します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
GPT4 58.6 58.1 - - - - Safety RM 56.2 64.5 55.4 74.7 71.7 65.2 64.3
Helpfulness RM 63.2 62.8 72.0 71.0 75.5 80.0 70.6
Table7: Rewardmodelresults. Performanceofourﬁnalhelpfulnessandsafetyrewardmodelsonadiverse
set of human preference benchmarks. Note that our model is ﬁne-tuned on our collected data, as opposed to
the other baselines that we report.
Test SetSigniﬁcantly
BetterBetterSlightly
BetterNegligibly
Better / UnsureAvg
Safety RMMeta Safety94.3 76.3 65.7 55.3 64.5
Helpfulness RM 89.9 73.2 63.8 54.5 62.8
Safety RMMeta Helpful.64.6 57.5 53.8 52.2 56.2
Helpfulness RM 80.7 67.5 60.9 54.7 63.2
Table 8: Granular reward model accuracy per preference rating. We report per-preference rating accuracy
forbothHelpfulnessandSafetyrewardmodelsontheMetaHelpfulnessandSafetytestsets. Thereward
models show superior accuracy on more distinct responses (e.g., signiﬁcantly better) and lower accuracy on