Llama 2: オープンファンデーションと微調整されたチャットモデルの準備状況。 平均スコアが>4のアノテーターはトレーニングに合格しました。
A.6 データセットの汚染
公開されているトレーニングデータの規模が増大するにつれて、トレーニング中に評価データが見られ、評価パフォーマンスが過度に向上する可能性があります。 以前の研究（Brown et al.（2020）、Wei et al.（2022a）、Du et al.（2022））は、このようなデータセットの汚染を測定する際に、サンプルとトレーニングデータの間に高次n-gram（一般的にn=13）の衝突が存在する場合、評価セットからの例を「汚染された」と考えました。 これは、高い精度で「クリーン」なデータのサブセットを生成するための故意に保守的なアプローチであり、オープンソースの評価ライブラリ（例：Gao et al.（2021））で使用されています。
しかしながら、このアプローチは、与えられたサンプルのどの割合が汚染されているかを正確に検出することができず、評価データセットがどのように構築されているかを考慮していませんでした。 さらに、Chowdhery et al.（2022）で指摘されているように、一部のデータセット（例：BoolQなど）には、ウェブからそのまま抽出された文脈が含まれていますが、それがどの程度評価データセットに影響を与えるかは考慮されていませんでした。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
readiness. Annotators that have scored an average of >4 have passed the training.
A.6 Dataset Contamination
Withtheincreasingscaleofpubliclyavailabletrainingdata,ithasbecomeinevitablethatsomeportionof
evaluation data is seen during training, and may provide an undue boost in evaluation performance.
Earlierwork(Brownetal.(2020),Weietal.(2022a),Duetal.(2022)inmeasuringsuchdatasetcontamination
considered an example from an evaluation set to be “contaminated” if there existed a collision between
a high-order n-gram (generally, n= 13) from the sample and the training data. This was a deliberately
conservativeapproachinordertoproducea“clean”subsetofthedatawithhighprecision,andisusedin
open-sourced evaluation libraries (e.g. Gao et al. (2021)).
This approach, however, was unable to detect precisely what proportion of a given sample is contaminated,
and didn’t take into account how evaluation datasets are constructed. Furthermore, as noted in Chowdhery
etal.(2022),somedatasets(suchasBoolQ)containcontextsextractedverbatimfromtheweb,butnotthe