Llama 2: オープンファンデーションとファインチューンされたチャットモデル
複雑な問題が与えられた際に、その理論を説明するように促されるモデルは、最終的な答えが正しい可能性を高めるために増加します。
RLHFは、大規模言語モデルの調整において強力な戦略として登場し、その性能を著しく向上させることができます（Christiano et al.、2017）。この手法は、最初にStiennon et al.（2020）によってテキスト要約のタスクの文脈で披露され、その後、他の様々なアプリケーションに拡張されてきました。
このパラダイムでは、モデルは人間のユーザーからのフィードバックに基づいてファインチューニングされ、その結果、モデルの応答が人間の期待や好みにより密接に一致するように反復的に調整されます。
Ouyang et al.（2022）は、指示のファインチューニングとRLHFの組み合わせが、LLMの単純なスケーリングでは修復できない事実性、有害性、および有用性の問題を解決するのに役立つことを示しています。Bai et al.（2022b）は、このファインチューニングプラスRLHFアプローチを部分的に自動化し、人間がラベル付けしたファインチューニングデータをモデル自身の自己批評と修正に置き換え、人間の評価者を置き換えることでいます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
whichmodels areprompted toexplain theirreasoningwhen givena complexproblem, inorder toincrease
the likelihood that their ﬁnal answer is correct.
RLHF has emerged as a powerful strategy for ﬁne-tuning Large Language Models, enabling signiﬁcant
improvements in their performance (Christiano et al., 2017). The method, ﬁrst showcased by Stiennon et al.
(2020) in the context of text-summarization tasks, has since been extended to a range of other applications.
In this paradigm, models are ﬁne-tuned based on feedback from human users, thus iteratively aligning the
models’ responses more closely with human expectations and preferences.
Ouyang et al. (2022) demonstrates that a combination of instruction ﬁne-tuning and RLHF can help ﬁx
issues with factuality, toxicity, and helpfulness that cannot be remedied by simply scaling up LLMs. Bai
et al. (2022b) partially automates this ﬁne-tuning-plus-RLHF approach by replacing the human-labeled
ﬁne-tuningdatawiththemodel’sownself-critiquesandrevisions,andbyreplacinghumanraterswitha