Llama 2: オープンファウンデーションと微調整されたチャットモデル
与えられたサブセットタイプの汚染割合。モデルのサイズは事前学習のみのモデルを指します
一致するシーケンスに多くのトークンが現れるため、トレーニングデータで見つかった一致するシーケンスによって汚染されているように見えるかもしれません。ただし、一致するシーケンスはトレーニングデータ全体にわたって非常に断片化されている可能性があります。その場合、モデルが正しく組み立てられた汚染されたシーケンスをトレーニング中に見た可能性は非常に低いです。この現象の可能性を減らすために、最小一致長L2f10;20;30;40;50gで分析を繰り返します。
L!1の極限では、すべてのサンプルが「クリーン」であり、「汚れていない」（汚染がない）ので、我々は断片化と全体的な汚染のバランスを取るために、各データセットごとに最大のLを報告します。
各データセットおよび上記のサンプルサブセットタイプごとに、パフォーマンスメトリックXの平均Xと統計Zn=(X-n)/nを計算します。ここで、nはサンプルサブセットタイプのサイズであり、nと2nはそれぞれサイズnのサンプリング分布の平均と分散です。
中心極限定理により、Znは標準正規分布に収束するため、我々はそこを考慮に入れます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
contamination percentage for the given subset type. Models sizes refer to pretrained-only models
may appear contaminated, by virtue of many tokens appearing in matched sequences found in the training
data. However, the matched sequences might be highly fragmented across the training data, in which case it
is very unlikely the model saw the correctly-assembled contaminated sequences during training. To reduce
the chance of this phenomenon, we repeat our analysis with minimum match length L2f10;20;30;40;50g.
Sinceinthelimitof L!1everysamplefallsintoboththe"clean"and"notdirty"(thereisnocontamination),
we report the largest Lfor each dataset that appeared to beneﬁt from contamination to strike a balance
between fragmentation and overall contamination.
Foreachdatasetandeachoftheabovesamplesubsettypes,wecomputeboththemean Xoftheperformance
metricXand the statistic Zn=(Xn)
n, wherenis the size of the sample subset type, and nand2
nare the
mean and variance of the sampling distribution of the performance metric for samples of size n, respectively.
BytheCentralLimitTheorem, Zntendstowardsastandardnormaldistributionandsoweconsiderthere