Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
付録A.3.3.
データ構成。私たちは新たに収集したデータを既存のオープンソースの好みデータセットと組み合わせて、より大きなトレーニングデータセットを形成します。最初は、オープンソースのデータセットを使用して報酬モデルをブートストラップする際に、好みの注釈データを収集する過程でした。この研究において報酬信号の役割は、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc の出力に対する人間の好みを学習することであり、モデルの出力ではありません。しかし、私たちの実験では、オープンソースの好みデータセットからの負の転送は観察されません。したがって、報酬モデルの汎化をより良くし、報酬のハッキング、つまり報酬の弱点を利用してスコアを人工的に高めることを防ぐために、これらを私たちのデータの混合物に保持することにしました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Appendix A.3.3.
DataComposition. Wecombineournewlycollecteddatawithexistingopen-sourcepreferencedatasets
toformalargertrainingdataset. Initially,open-sourcedatasetswereusedtobootstrapourrewardmodels
whilewewereintheprocessofcollectingpreferenceannotationdata. WenotethatinthecontextofRLHFin
this study, the role of reward signals is to learn human preference for L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc outputs rather than
any model outputs. However, in our experiments, we do not observe negative transfer from the open-source
preferencedatasets. Thus,wehavedecidedtokeeptheminourdatamixture,astheycouldenablebetter
generalization for the reward model and prevent reward hacking, i.e. L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc taking advantage of
some weaknesses of our reward, and so artiﬁcially inﬂating the score despite performing less well.