ラマ2：オープンファンデーションと微調整されたチャットモデル
StackExchange 1,038,480 1.0 440.2 200.1 240.2
Stanford SHP 74,882 1.0 338.3 199.5 138.8
Synthetic GPT-J 33,139 1.0 123.3 13.0 110.3
メタ（安全性＆役立ち度）1,418,091 3.9 798.5 31.4 234.1
合計2,919,326 1.6 595.7 108.2 216.9
表6：報酬モデリングに使用されるオープンソースおよび内部で収集された人間の選好データの統計。同じプロンプト（および前回の対話）を共有する2つの応答（選択および拒否）を含むバイナリ人間の選好比較があることに注意してください。各例は、プロンプト（利用可能な場合は前回の対話を含む）と、報酬モデルの入力である応答で構成されます。比較の数、対話ごとの平均ターン数、例ごとの平均トークン数、プロンプトごとの平均数、応答ごとの平均数を報告します。Metaの役立ち度および安全性データの詳細については、付録A.3.1で確認できます。これにより、例えば、2つのモデル間で情報の不一致が発生するケースが防がれます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
StackExchange 1,038,480 1.0 440.2 200.1 240.2
Stanford SHP 74,882 1.0 338.3 199.5 138.8
Synthetic GPT-J 33,139 1.0 123.3 13.0 110.3
Meta (Safety & Helpfulness) 1,418,091 3.9 798.5 31.4 234.1
Total 2,919,326 1.6 595.7 108.2 216.9
Table 6: Statistics of human preference data for reward modeling. We list both the open-source and
internally collected human preference data used for reward modeling. Note that a binary human preference
comparisoncontains2responses(chosenandrejected)sharingthesameprompt(andpreviousdialogue).
Eachexampleconsistsofaprompt(includingpreviousdialogueifavailable)andaresponse,whichisthe
inputoftherewardmodel. Wereportthenumberofcomparisons,theaveragenumberofturnsperdialogue,
the average number of tokens per example, per prompt and per response. More details on Meta helpfulness
and safety data per batch can be found in Appendix A.3.1.
knows. Thispreventscaseswhere, forinstance, thetwomodelswouldhaveaninformationmismatch, which