Llama 2: オープンファンデーションと微調整されたチャットモデル
より良い人間の好みの整列と改善された役立ち度と安全性。
他の研究者は、役立ち度と安全性が時々トレードオフすることがあることを発見しています（Bai et al.、2022a）、これは単一の報酬モデルが両方でうまく機能することを難しくする可能性があります。これに対処するために、私たちは2つの別々の報酬モデルを訓練しました。1つは役立ち度に最適化されたもの（Helpfulness RM と呼ばれる）、もう1つは安全性に最適化されたもの（Safety RM と呼ばれる）。報酬モデルは事前に訓練されたチャットモデルのチェックポイントから初期化します。これにより、両方のモデルが事前訓練で獲得した知識を活用できるようになります。要するに、報酬モデルはチャットモデルの「知識」を知っています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
better human preference alignment and improved helpfulness and safety.
Others have found that helpfulness and safety sometimes trade oﬀ (Bai et al., 2022a), which can make it
challengingforasinglerewardmodeltoperformwellonboth. Toaddressthis,wetraintwoseparatereward
models, one optimized for helpfulness (referred to as Helpfulness RM ) and another for safety ( Safety RM ).
We initialize our reward models from pretrained chat model checkpoints, as it ensures that both models
beneﬁtfromknowledgeacquiredinpretraining. Inshort, therewardmodel“knows” whatthechatmodel
10
DatasetNum. of
ComparisonsAvg. # Turns
per DialogueAvg. # Tokens
per ExampleAvg. # Tokens
in PromptAvg. # Tokens
in Response
Anthropic Helpful 122,387 3.0 251.5 17.7 88.4
Anthropic Harmless 43,966 3.0 152.5 15.7 46.4
OpenAI Summarize 176,625 1.0 371.1 336.0 35.1
OpenAI WebGPT 13,333 1.0 237.2 48.3 188.9
StackExchange 1,038,480 1.0 440.2 200.1 240.2