Llama 2: オープンファンデーションと微調整されたチャットモデル
0.5以上の尤度スコアは、我々の事前トレーニングデータに少量の有害性があることを意味します。
言語識別。 我々の事前トレーニングデータは主に英語ですが、少数の他言語のテキストも含まれています。 表10は、文書の0.005％以上で見つかった言語の分布を示しています。 我々の分析は、fastText（Bojanowskietal。、2016）言語識別ツールと、言語検出のための0:5の閾値を使用しています。 英語が大多数を占めるトレーニングコーパスは、モデルが他の言語で使用するには適していない可能性があります。
言語　パーセント　言語　パーセント
en 89.70% uk 0.07%
unknown 8.38% ko 0.06%
de 0.17% ca 0.04%
fr 0.16% sr 0.04%
sv 0.15% id 0.03%
zh 0.13% cs 0.03%
es 0.13% ﬁ 0.03%
ru 0.13% hu 0.03%
nl 0.12% no 0.03%
it 0.11% ro 0.03%
ja 0.10% bg 0.02%
pl 0.09% da 0.02%
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
likelihood score of 0.5 or higher, meaning there is a small amount of toxicity in our pretraining data.
Language Identiﬁcation. WhileourpretrainingdataismostlyEnglish,italsoincludestextfromasmall
number ofother languages. Table 10showsthe distributionof languages inour corpus, subsettedto those
foundinmorethan0.005%ofthedocuments. OuranalysisusesthefastText(Bojanowskietal.,2016)language
identiﬁcation tool and a threshold of 0:5for the language detection. A training corpus with a majority in
English means that the model may not be suitable for use in other languages.
21
Language Percent Language Percent
en 89.70% uk 0.07%
unknown 8.38% ko 0.06%
de 0.17% ca 0.04%
fr 0.16% sr 0.04%
sv 0.15% id 0.03%
zh 0.13% cs 0.03%
es 0.13% ﬁ 0.03%
ru 0.13% hu 0.03%
nl 0.12% no 0.03%
it 0.11% ro 0.03%
ja 0.10% bg 0.02%
pl 0.09% da 0.02%