Llama 2: オープンファンデーションと微調整されたチャットモデル
報酬のいくつかの弱点を補うために、スコアを人工的に膨らませることなく、実際には性能が低いにもかかわらずスコアを高く見せることがあります。
異なるソースからのトレーニングデータが利用可能な中、HelpfulnessおよびSafety報酬モデルの最適な設定を確認するために、異なる混合レシピを実験しました。広範な実験の結果、Helpfulness報酬モデルは最終的にはすべてのメタヘルプフルネスデータでトレーニングされ、メタセーフティおよびオープンソースのデータから均等にサンプリングされた残りのデータと組み合わせてトレーニングされました。メタセーフティ報酬モデルは、すべてのメタセーフティおよびアンソロピックハームレスデータでトレーニングされ、メタヘルプフルネスおよびオープンソースのヘルプフルネスデータとの90/10の割合で混合されました。10%のヘルプフルネスデータを使用する設定が、選択された応答と拒否された応答の両方が安全と見なされるサンプルの精度に特に有益であることがわかりました。
トレーニングの詳細。トレーニングデータ全体で1エポックのトレーニングを行います。以前の実験では、長時間のトレーニングは過学習につながることがわかりました。ベースモデルと同じオプティマイザーパラメータを使用します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
some weaknesses of our reward, and so artiﬁcially inﬂating the score despite performing less well.
With training data available from diﬀerent sources, we experimented with diﬀerent mixing recipes for both
HelpfulnessandSafetyrewardmodelstoascertainthebestsettings. Afterextensiveexperimentation,the
11
Helpfulness reward model is eventually trained on all Meta Helpfulness data, combined with an equal
partsoftheremainingdatauniformlysampledfromMetaSafetyandfromtheopen-sourcedatasets. The
Meta Safety reward model is trained on all Meta Safety and Anthropic Harmless data, mixed with Meta
Helpfulnessandopen-sourcehelpfulnessdataina90/10proportion. Wefoundthatthesettingwith10%
helpfulness data is especially beneﬁcial for the accuracy on samples where both the chosen and rejected
responses were deemed safe.
Training Details. We train for one epoch over the training data. In earlier experiments, we found that
traininglongercanleadtoover-ﬁtting. Weusethesameoptimizerparametersasforthebasemodel. The