Llama 2: オープンファウンデーションと微調整されたチャットモデル
7b
13b
70b
GPT4
OpenAssistantFigure 6: 報酬モデルのスケーリングトレンド。より多くのデータとより大きなモデルサイズは一般的に精度を向上させ、トレーニングデータからの学習がまだ飽和していないようです。
役立ち度と安全性がそれぞれのドメインで最も優れた結果を出したことは、報酬モデルのトレーニング中における二つの目的（つまり、できるだけ役立つことと必要に応じて安全でないプロンプトを拒否すること）の間の緊張に起因している可能性があります。したがって、一つのモデルが両方の側面でうまく機能するためには、プロンプトに対してより良い応答を選択するだけでなく、安全なプロンプトと敵対的なプロンプトを区別することが必要です。その結果、二つの別々のモデルを最適化することで報酬モデリングのタスクが容易になります。安全性と役立ち度の間の緊張に関するより詳細な分析については、付録A.4.1で見つけることができます。
Table8で評価基準別にスコアをグループ化すると、"significantly better"のテストセットでは精度が優れており、比較対象がより似てくるにつれて徐々に低下していくことがわかります（例： "slightly better"）。人間の好みをモデル化することは、選択する際により似た選択肢の間で難しくなることが予想されます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
7b
13b
70b
GPT4
OpenAssistantFigure 6: Scaling trends for the reward model. More data and a larger-size model generally improve
accuracy, and it appears that our models have not yet saturated from learning on the training data.
Thefactthathelpfulnessandsafetyperformedthe bestontheirowndomainispotentiallyduetothetension
betweenthetwoobjectives(i.e.,beingashelpfulaspossibleversusrefusingunsafepromptswhennecessary),
whichmayconfusetherewardmodelduringtraining. Inorderforasinglemodeltoperformwellonboth
dimensions, it needs to not only learn to select the better response given a prompt but also to distinguish
adversarial prompts from safe ones. As a result, optimizing two separate models eases the reward modeling
task. More detailed analysis on this tension between safety and helpfulness can be found in Appendix A.4.1.
WhenwegroupthescoresbypreferenceratinginTable8,wecanseethattheaccuracyissuperiorforthe
“signiﬁcantlybetter”testsetanddegradesgraduallyascomparisonpairsbecomemoresimilar(e.g.,“slightly
better”). It is expected that learning to model human preferences becomes challenging when deciding