Llama 2: オープンファンデーションとファインチューンされたチャットモデル
モデルは、より異なる応答（例：著しく優れている）で優れた精度を示し、類似した応答（例：無視できるほどに優れている）では低い精度を示します。
報酬モデルの結果。報酬モデリングの人間の選好注釈の各バッチで、私たちはテストセットとして1000の例を保持し、モデルを評価しました。対応するテストセットのすべてのプロンプトの組み合わせをそれぞれ「メタヘルフプルネス」と「メタセーフティ」と呼びます。
基準点として、SteamSHP-XL（Ethayarajh et al.、2022）をFLAN-T5-xlに基づいて、Open Assistant（Köpf et al.、2023）報酬モデルをDeBERTa V3 Large（He et al.、2020）に基づいて、およびOpenAIのAPIを介してアクセス可能なGPT4を評価しました。推論時には、トレーニングとは異なり、すべての報酬モデルは、対応する出力にアクセスすることなく、単一の出力のスカラーを予測できます。GPT-4の場合、ゼロショットの質問「AとBの間で最良の回答を選択してください」とプロンプトします。ここで、AとBは比較のための2つの応答です。
表7において、精度の観点から結果を報告します。予想通り、私たち自身の報酬モデルが最も優れたパフォーマンスを発揮します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
models show superior accuracy on more distinct responses (e.g., signiﬁcantly better) and lower accuracy on
similar responses (e.g., negligibly better).
Reward Model Results. On each batch of human preference annotation for reward modeling, we held out
1000examplesasatestsettoevaluateourmodels. Werefertotheunionofallpromptsforthecorresponding
test sets as “Meta Helpfulness” and “Meta Safety,” respectively.
As reference points, we also evaluated other publicly available alternatives as baselines: SteamSHP-XL
(Ethayarajh et al., 2022) based on FLAN-T5-xl, the Open Assistant (Köpf et al., 2023) reward model based on
DeBERTa V3 Large (He et al., 2020), and GPT4 accessible through the OpenAI’s API. Note that at inference
time, asopposedtotraining, alltherewardmodelscanpredictascalarforasingleoutput, withoutrequiring
to access its paired output. For GPT-4, we prompt with a zero-shot question “Choose the best answer between A
and B,”where A and B are the two responses for comparison.
We report the results in terms of accuracy in Table 7. As expected, our own reward models perform the best