Llama 2: オープンファウンデーションと微調整されたチャットモデル
新しいモデルと以前のモデルとの間に回帰がないことを確認する最後の検証ステップとして、次の注釈イテレーション中に両方をサンプリングすることで、新しいプロンプトでのモデル比較を「無料」で行い、サンプリング時の多様性の増加に役立ちます。
モデルの進化。図11は、私たちの異なるSFTおよびRLHFバージョンの進捗状況を報告し、それぞれの安全性および有用性軸について、社内の安全性および有用性報酬モデルによって測定されます。この評価セットでは、RLHF-V3（無害性と有益性>50%）の後にChatGPTを両軸で上回っています。前述の報酬を点ごとのメトリックとして使用することの関連性にもかかわらず、L/l.sc/a.sc/m.sc/a.sc/t.scに偏る可能性があると主張できます。したがって、公平な比較のために、GPT-4を使用して最終結果を計算し、どの世代が好ましいかを評価します。ChatGPTとL/l.sc/a.sc/m.sc/a.sc/t.scの出力の順序
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
As a last veriﬁcation step to ensure no regression between our new model and the previous one, we use both
to sample during the next annotation iteration. This enables a model comparison “for free” on new prompts
and can help to increase diversity when sampling.
Progression of Models. Figure 11 reports the progress of our diﬀerent SFT and then RLHF versions for
both Safetyand Helpfulnessaxes, measuredbyour in-houseSafetyand Helpfulnessreward models. On
this set of evaluations, we outperform ChatGPT on both axes after RLHF-V3 (harmlessness and helpfulness
>50%). Despite the aforementioned relevance of using our reward as a point-wise metric, it can arguably be
biased in favor of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc . Therefore, for a fair comparison, we additionally compute the ﬁnal results
usingGPT-4toassesswhichgenerationispreferred. TheorderinwhichChatGPTand L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc outputs