ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
31
5 ディスカッション
ここでは、私たちがRLHF（セクション5.1）で観察した興味深い特性について議論します。次に、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scの制限について議論します（セクション5.2）。最後に、これらのモデルを責任を持ってリリースする戦略を提示します（セクション5.3）。
5.1 学びと観察
私たちのチューニングプロセスは、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scの知識を時間的に整理する能力や、外部ツールのAPIを呼び出す能力など、いくつかの興味深い結果を明らかにしました。
SFT（ミックス）
SFT（注釈）
RLHF（V1）
0.0 0.2 0.4 0.6 0.8 1.0
報酬モデルスコアRLHF（V2）
図20：L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scの進化バージョンにおける分布シフト、SFTモデルからRLHFへ。
人間の監督を超えて。プロジェクトの最初に、私たちの多くが人間の監督を超えることを好むと表明しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
31
5 Discussion
Here, we discuss the interesting properties we have observed with RLHF (Section 5.1). We then discuss the
limitations of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc (Section 5.2). Lastly, we present our strategy for responsibly releasing these
models (Section 5.3).
5.1 Learnings and Observations
Our tuning process revealed several interesting results, such as L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc ’s abilities to temporally
organize its knowledge, or to call APIs for external tools.
SFT (Mix)
SFT (Annotation)
RLHF (V1)
0.0 0.2 0.4 0.6 0.8 1.0
Reward Model ScoreRLHF (V2)
Figure 20: Distribution shift for progressive versions of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , from SFT models towards RLHF.
Beyond Human Supervision. At the outset of the project, many among us expressed a preference for