Llama 2: オープンファンデーションと微調整されたチャットモデル
分布は人間の好みに向けて整列し、この現象は図20に示されており、最悪の回答が段階的に削除され、分布が右にシフトしていることがわかります。
さらに、アノテーション中に、モデルは最高のアノテーターでさえも描けない執筆軌跡に進出する可能性があります。それでも、人間は自分自身の執筆能力を超えた2つの回答を比較する際に貴重なフィードバックを提供することができます。類推すると、私たちがすべてが優れた芸術家であるわけではないように、芸術を鑑賞し批評する能力は健在です。私たちは、LLMの優れた執筆能力が、あるタスクで人間のアノテーターを超えることで表れることは、Gilardi et al. (2023) および Huang et al. (2023) で文書化されているRLHFに基づいていると主張します。監督データはもはやゴールドスタンダードではなく、この進化する状況は「監督」という概念を再評価することを強制します。
コンテキスト内温度再調整。私たちはRLHFに関連する興味深い現象を観察しており、これは私たちの知識の範囲内では以前に報告されていない特徴です：文脈に依存した温度の動的な再スケーリング。図8に示されているように、温度はRLHFに影響を受けているようです。しかし、興味深いことに、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
distribution and aligns towards the human preference. This phenomena is illustrated in Figure 20, where we
can see that the worst answers are progressively removed, shifting the distribution to the right.
In addition, during annotation, the model has the potential to venture into writing trajectories that even the
bestannotatorsmaynotchart. Nonetheless,humanscanstillprovidevaluablefeedbackwhencomparingtwo
answers, beyond their own writing competencies. Drawing a parallel, while we may not all be accomplished
artists, our ability to appreciate and critique art remains intact. We posit that the superior writing abilities of
LLMs, as manifested in surpassing human annotators in certain tasks, are fundamentally driven by RLHF, as
documented in Gilardi et al. (2023) and Huang et al. (2023). Supervised data may no longer be the gold
standard, and this evolving circumstance compels a re-evaluation of the concept of “supervision.”
In-Context Temperature Rescaling. We have observed an intriguing phenomenon related to RLHF, a
featurenotpreviouslyreportedtothebestofourknowledge: thedynamicre-scalingoftemperaturecontingent
uponthecontext. AsindicatedinFigure8,thetemperatureappearstobeinﬂuencedbyRLHF.Yet,intriguingly,