Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
（Lambert et al.、2023）、Stanford Human Preferences（Ethayarajh et al.、2022）、およびSynthetic GPT-J（Havrilla）。
私たちは、人間が私たちの指定されたガイドラインを適用した上での100万以上のバイナリ比較に基づく大規模なデータセットを収集しました。これをメタリワードモデリングデータと呼んでいます。プロンプトと回答のトークン数は、テキストドメインに応じて異なります。要約およびオンラインフォーラムデータは一般的により長いプロンプトを持ちますが、対話スタイルのプロンプトは通常短くなります。既存のオープンソースのデータセットと比較して、私たちの選好データはより多くの会話ターンを特徴とし、平均的に長くなっています。
3.2.2 報酬モデリング
報酬モデルは、モデルの応答とそれに対応するプロンプト（以前のターンからのコンテキストを含む）を入力とし、モデル生成の品質（例：役立ち度と安全性）を示すスカラースコアを出力します。このような応答スコアを報酬として活用することで、RLHF中にL/l.sc/a.sc/m.sc/a.sc/t.scを最適化し、より良い人間の選好の整合性と改善された役立ち度と安全性を実現できます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
(Lambert et al., 2023), Stanford Human Preferences (Ethayarajh et al., 2022), and Synthetic GPT-J (Havrilla).
We collected a large dataset ofover 1million binary comparisons based on humansapplyingour speciﬁed
guidelines, which we refer to as Metareward modeling data. Note that the number of tokens in prompts and
answers diﬀers depending on the text domain. Summarization and online forum data generally have longer
prompts, while dialogue-style prompts are usually shorter. Compared to existing open-source datasets, our
preference data features more conversation turns, and are longer, on average.
3.2.2 Reward Modeling
The reward model takes a model response and its corresponding prompt (including contexts from previous
turns) as inputs and outputs a scalar score to indicate the quality (e.g., helpfulness and safety) of the model
generation. Leveragingsuchresponsescoresasrewards,wecanoptimize L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc duringRLHFfor
better human preference alignment and improved helpfulness and safety.