Llama 2: オープンファンデーションと人間の監督を超えた微調整されたチャットモデル。プロジェクトの最初に、私たちの多くが監督付き注釈を好むと表明し、そのより濃い信号に魅了されました。一方で、不安定性で知られる強化学習は、NLP研究コミュニティの人々にとってやや影の薄い分野のように思われました。しかし、強化学習は、そのコストと時間の効率性を考慮すると、非常に効果的であることが証明されました。私たちの調査結果は、RLHFの成功の決定的な要因が、注釈プロセス全体で人間とLLMの間で育まれるシナジーにあることを強調しています。
熟練した注釈者であっても、個々の書き手にはかなりのばらつきがあります。SFT注釈で微調整されたモデルは、この多様性を学習しますが、残念ながら、実行が不十分な注釈の最後尾も含まれます。さらに、モデルのパフォーマンスは、最も熟練した注釈者の書き手能力によって制限されます。人間の注釈者は、RLHFのための2つの出力の好み注釈を比較する際には、矛盾が少ないと言えるでしょう。その結果、報酬メカニズムは迅速に、望ましくない最後尾の分布に低いスコアを割り当てることを学び、人間の好みに合わせるようになります。この現象は、図20で示されており、最悪の回答が段階的に削除され、分布が右にシフトしていることがわかります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Beyond Human Supervision. At the outset of the project, many among us expressed a preference for
supervised annotation, attracted by its denser signal. Meanwhile reinforcement learning, known for its instability, seemed a somewhat shadowy ﬁeld for those in the NLP research community. However, reinforcement
learning proved highly eﬀective, particularly given its cost and time eﬀectiveness. Our ﬁndings underscore
that the crucial determinant of RLHF’s success lies in the synergy it fosters between humans and LLMs
throughout the annotation process.
Evenwithproﬁcientannotators,eachindividualwriteswithsigniﬁcantvariation. Amodelﬁne-tunedon
SFTannotationlearnsthisdiversity,including,unfortunately,thetail-endofpoorlyexecutedannotation. Furthermore, the model’s performance is capped by the writing abilities of the most skilled annotators. Human
annotators are arguably less subject to discrepancy when comparing two outputs’ preference annotation
forRLHF.Consequently,therewardmechanismswiftlylearnstoassignlowscorestoundesirabletail-end
distribution and aligns towards the human preference. This phenomena is illustrated in Figure 20, where we
can see that the worst answers are progressively removed, shifting the distribution to the right.