ラマ2：オープンファウンデーションと微調整されたチャットモデル
it 0.11% ro 0.03%
ja 0.10% bg 0.02%
pl 0.09% da 0.02%
pt 0.09% sl 0.01%
vi 0.08% hr 0.01%
テーブル10：0.005％以上の割合での事前学習データの言語分布。ほとんどのデータは英語であり、これはL/l.sc/a.sc/m.sc/a.sc/two.taboldstyleが英語のユースケースに最適であることを意味します。大きな未知のカテゴリは、部分的にプログラミングコードデータで構成されています。
事前学習モデルの安全性ベンチマーク。私たちは、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleの安全性能を、LMの安全性の3つの主要な側面に関連する3つの人気のある自動ベンチマークで評価します。
1.真実性：言語モデルが誤解や誤った信念による偽りの情報を生成するかどうかを指します。私たちはTruthfulQA（Lin et al.、2021）を使用して、私たちのLLMが事実と常識に合致する信頼性のある出力を生成する能力を測定します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
it 0.11% ro 0.03%
ja 0.10% bg 0.02%
pl 0.09% da 0.02%
pt 0.09% sl 0.01%
vi 0.08% hr 0.01%
Table 10: Language distribution inpretraining data withpercentage >= 0.005% . MostdataisinEnglish,
meaning that L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle will perform best for English-language use cases. The large unknown category is
partially made up of programming code data.
SafetyBenchmarksforPretrainedModels. Weevaluatethesafetycapabilitiesof L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle onthreepopular
automatic benchmarks, pertaining to three key dimensions of LM safety.
1.Truthfulness ,referringtowhetheralanguagemodelproducesknownfalsehoodsduetomisconceptionsorfalsebeliefs. Weemploy TruthfulQA (Linetal.,2021)tomeasurehowwellourLLMs
can generate reliable outputs that agree with factuality and common sense.