Llama 2: オープンファウンデーションとファインチューンされたチャットモデルは、意図的にRLHFデータの複雑さを増加させるために、より多くのマルチターンサンプルを収集し、したがってサンプルごとのトークンの平均数もバッチごとにそれに応じて増加します。
図25では、バッチごとの好みの評価の変化をプロットしています。時間の経過とともに、同様の応答（例：無視できるほど良いまたは不確実）を持つサンプルの割合が劇的に増加する一方で、より強い好みを持つサンプル（例：著しく良い）は同時に減少していることが明らかになります。これは、私たちの反復的なモデル更新および好みデータ注釈手順の性質を反映しており、L/l.sc/a.sc/m.sc/a.sc/t.scモデルの性能が向上するにつれて、同等に高品質な2つの応答からより良いものを選択することが注釈者にとって難しくなっていくことを示しています。
A.3.2 メタヒューマンの好みデータのためのカリキュラム戦略
高品質のデータは、SFTで議論されたように、整合性にとって重要です。私たちは、ファインチューニングプロセス中に注釈プラットフォームと緊密に連携し、カリキュラム注釈戦略を採用しました。最初のモデルでは、注釈者には比較的簡単なプロンプトを作成するように求め、徐々に進行しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
also intentionally collect more multi-turn samples to increase the complexity of RLHF data and thus the
average number of tokens per sample also increase accordingly over batches.
In Figure 25, we plot out the preference rating change over batches. It can be clearly seen that the share
of samples with similar responses (e.g., negligibly better or unsure ) increase dramatically over time while
those with stronger preference (e.g., signiﬁcantly better ) drop in the meantime. This reﬂects the nature of our
iterativemodelupdateandpreferencedataannotationprocedure-withbetter-performing L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc
modelsusedforresponsesamplingovertime,itbecomeschallengingforannotatorstoselectabetterone
from two equally high-quality responses.
A.3.2 Curriculum Strategy for Meta Human Preference Data
High quality data is critical for alignment as discussed for SFT. We worked closely with the annotation
platforms during our ﬁne-tuning process, and opted for a curriculum annotation strategy. With the ﬁrst
model,theannotatorswereaskedtomakepromptsrelativelysimple,andthentoprogressivelymovetowards