ラマ2：オープンファウンデーションと微調整されたチャットモデル
およびB、「A」と「B」は比較のための2つの応答です。
私たちは、表7の精度として結果を報告します。予想通り、私たち自身の報酬モデルは、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scに基づいて収集された内部テストセットで最も優れたパフォーマンスを発揮し、MetaHelpfulnesstestsetで最も優れたパフォーマンスを発揮するHelpfulnessrewardmodel、および同様に、MetaSafetytestsetで最も優れたパフォーマンスを発揮するSafetyrewardmodelです。全体として、私たちの報酬モデルは、GPT-4を含むすべてのベースラインを上回ります。興味深いことに、GPT-4は、直接トレーニングされていないし、特にこの報酬モデリングのタスクを対象としていないにもかかわらず、他の非メタ報酬モデルよりも優れたパフォーマンスを発揮します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
and B,”where A and B are the two responses for comparison.
We report the results in terms of accuracy in Table 7. As expected, our own reward models perform the best
on our internaltest sets collected based on L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , with the Helpfulnessrewardmodel performing
bestontheMetaHelpfulnesstestset,andsimilarlytheSafetyrewardmodelperformingbestontheMeta
Safetytestset. Overall,ourrewardmodelsoutperformallofthebaselines,includingGPT-4. Interestingly,
GPT-4 performs better than other non-Meta reward models, despite not being trained directly nor targeting
speciﬁcally this reward modeling task.
12
1234567891011121314
Meta Helpfulness Data Batch Stage0.520.540.560.580.600.620.64Accuracy On All Examples
 7b
13b
70b
GPT4
OpenAssistant
1234567891011121314
Meta Helpfulness Data Batch Stage0.500.550.600.650.700.750.80Accuracy On Examples With Label "Significantly Better"
7b
13b
70b
GPT4