Llama 2: オープンファウンデーションとファインチューンされたチャットモデルの能力をより小さなものに統合します。この蒸留の効果のさらなる分析は将来の作業に残します。
各反復段階では、最新のモデルから各プロンプトに対してK個の回答をサンプリングします。実験時にアクセス可能な最良の報酬モデルによって各サンプルをスコアリングし、その後、特定のプロンプトに対する最良の回答を選択します。当初のモデルのバージョン（RLHFV3まで）では、回答の選択を前回の反復から収集されたサンプルの「袋」に制限することでした。たとえば、RLHF V3はRLHF V2からのサンプルのみを使用してトレーニングされました。しかし、継続的な改善にもかかわらず、この方法は一部の能力の低下につながりました。たとえば、質的分析を通じて判明したように、RLHFV3は以前のバージョンよりも詩の韻を踏むことに苦労し、忘却の原因と緩和策のさらなる調査が追加の将来の研究のための有望な領域である可能性が示唆されました（Kirkpatrick et al.、2017; Nguyen et al.、2019; Ramasesh et al.、2021）。
これに応じて、後続の反復では、戦略を変更し、トップパフォーマンスのサンプルを組み込みました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
capabilities into the smaller ones. We leave further analysis of the eﬀect of this distillation for future work.
Ateachiterativestage,wesample Kanswersforeachpromptfromthemostrecentmodel. Wescoreeach
sample given the best reward model accessible at the time of the experiment, and then select the best answer
foragivenprompt. Inearlierversionsofourmodel,uptoRLHFV3,ourapproachwastoconﬁneanswer
selection solely to the“bag” of samples gathered from the precedingiteration. For example, RLHF V3was
trained using only samples from RLHF V2. However, despite continuous improvement, this method led to a
14
regressionin somecapabilities. Forexample,RLHFV3 struggledmore thanpreviousversionstocompose
rhyming lines in poems, as discerned through qualitative analysis, suggesting that further investigation into
the causes of and mitigations for forgetting (Kirkpatrick et al., 2017; Nguyen et al., 2019; Ramasesh et al.,
2021) could be a fruitful area for additional future research.
In response, on subsequent iterations, we modiﬁed our strategy, incorporating top-performing samples from