Llama 2: オープンファンデーションと微調整されたチャットモデル
より良い）。モデル化された人間の好みを学習することは、類似したモデル応答を選択する際に
困難になることが予想されます。これは、注釈者の主観性や微妙な詳細に依存するためです
応答を区別する可能性があります。私たちは、より異なる応答の精度がL/l.sc/a.sc/m.sc/a.sc/t.scのパフォーマンスを改善する上で最も重要であることを強調します。人間の好みの注釈合意率も
類似したペアよりもより異なる応答に高いです。
スケーリングトレンド。我々は報酬モデルのデータとモデルサイズのスケーリングトレンドを研究し、報酬モデルデータの増加量に応じて異なるモデルサイズを微調整しました（表26のバッチごとの詳細を参照）。図6はこれらのトレンドを報告し、より大きなモデルが同様のデータ量でより高いパフォーマンスを得るという予想される結果を示しています。さらに重要なことに、既存のデータ注釈の量を考慮すると、スケーリングパフォーマンスはまだ頭打ちになっていないことがわかります。これは、より多くの注釈を使用してさらなる改善の余地があることを示すサインです。報酬モデルの精度は最も重要なものの1つです。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
better”). It is expected that learning to model human preferences becomes challenging when deciding
betweentwosimilarmodelresponses,duetoannotatorsubjectivityandtheirrelianceonnuanceddetails
thatmaydiﬀerentiateresponses. Weemphasizethattheaccuracyonmoredistinctresponsesmattersthe
mosttoimprove L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc performance. Thehumanpreferenceannotationagreementrateisalsohigher
on more distinct responses than similar pairs.
Scaling Trends. Westudythescalingtrendsintermsofdataandmodelsizefortherewardmodel,ﬁnetuning diﬀerent model sizes on an increasing amount of the reward model data collected each week (see the
detailsonvolumeperbatchinTable26). Figure6reportsthesetrends,showingtheexpectedresultthatlarger
models obtain higher performance for a similar volume of data. More importantly, the scaling performance
hasnotyetplateauedgiventheexistingvolumeofdataannotationusedfortraining,asignalthatthereis
room for more improvement with more annotations. We note that reward model accuracy is one of the most