Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
私たち自身のベンダーベースの注釈付けの取り組みからより高品質の例を得た結果、私たちの結果は顕著に改善しました。これらの発見は、Zhouら（2023）の研究と精神的に類似しており、限られたクリーンな指示チューニングデータが高い品質の達成に十分であることを見出しています。私たちは、数千のSFT注釈が高品質の結果を達成するのに十分であることを見出しました。私たちは、合計27,540の注釈を収集した後、SFTの注釈付けを停止しました。なお、メタユーザーデータは含まれていません。また、異なる注釈付けプラットフォームやベンダーが、モデルのパフォーマンスに大きな違いをもたらすことを観察し、ベンダーを使用して注釈を取得する際にもデータのチェックの重要性を強調しました。私たちのデータ品質を検証するために、180の例のセットを注意深く調査し、人間による注釈とモデルによって生成されたサンプルを手作業で比較しました。驚くべきことに、SFTモデルからサンプリングされた出力は、人間の注釈者によって手書きされたSFTデータと競争力があることが多く、RLHFのための優先ベースの注釈により多くの注釈の取り組みを再優先化し、捧げることができる可能性を示唆しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
higher-quality examples from our own vendor-based annotation eﬀorts, our results notably improved. These
ﬁndingsaresimilarinspirittoZhouetal.(2023),whichalsoﬁndsthatalimitedsetofcleaninstruction-tuning
datacanbesuﬃcienttoreachahighlevelofquality. WefoundthatSFTannotationsintheorderoftensof
thousands was enough to achieve a high-quality result. We stopped annotating SFT after collecting a total of
27,540 annotations. Note that we do not include any Meta user data.
Wealsoobservedthatdiﬀerentannotationplatformsandvendorscanresultinmarkedlydiﬀerentdownstream model performance, highlighting the importance of data checks even when using vendors to source
annotations. Tovalidateourdataquality,wecarefullyexaminedasetof180examples,comparingtheannotations provided by humans with the samples generated by the model through manual scrutiny. Surprisingly,
we found that the outputs sampled from the resulting SFT model were often competitive with SFT data
handwritten by human annotators, suggesting that we could reprioritize and devote more annotation eﬀort
to preference-based annotation for RLHF.