Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
報酬モデルの精度は、新しいサンプル分布にさらされない場合、つまり、過度の特殊化（Scialometal。、2020b）から迅速に低下する可能性があるため、新しいL/l.sc/a.sc/m.sc/a.sc/t.sc/two.taboldstyle-C/h.sc/a.sc/t.scの調整イテレーションの前に、最新のL/l.sc/a.sc/m.sc/a.sc/t.scイテレーションを使用して新しい好みのデータを収集することが重要です。このステップは、報酬モデルを分布上に保ち、最新のモデルの正確な報酬を維持するのに役立ちます。
Table6では、Anthropic Helpful and Harmless（Bai et al.、2022a）、OpenAISummarize（Stiennon et al.、2020）、OpenAI WebGPT（Nakano et al.、2021）、StackExchange（Lambert et al.、2023）、Stanford Human Preferences（Ethayarajh et al.、2022）、およびSynthetic GPT-J（Havrilla）を含む複数のオープンソースの好みのデータセットの統計を報告し、時間の経過とともに収集した報酬モデルのデータを提示します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Since reward model accuracy can quickly degrade if not exposed to this new sample distribution, i.e., from
hyper-specialization(Scialometal.,2020b),itisimportantbeforeanew L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc tuningiterationto
gather new preference data using the latest L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc iterations. This step helps keep the reward model
on-distribution and maintain an accurate reward for the latest model.
InTable6,wereportthestatisticsofrewardmodelingdatathatwecollectedovertime,andpresentthem
against multiple open-source preference datasets including Anthropic Helpful and Harmless (Bai et al.,
2022a), OpenAISummarize(Stiennon etal., 2020),OpenAI WebGPT(Nakanoet al.,2021), StackExchange
(Lambert et al., 2023), Stanford Human Preferences (Ethayarajh et al., 2022), and Synthetic GPT-J (Havrilla).