Llama 2: オープンファウンデーションとファインチューンされたチャットモデルの事前トレーニングデータは、言語、人口統計の表現、有害性の分布のために提供されます。また、事前トレーニングされたモデルの既存の安全ベンチマークでのテスト結果も提示します。
責任を持って事前トレーニングするための手順。トレーニングに使用される各データセットについて、Metaの標準プライバシーおよび法的審査プロセスに従いました。トレーニングにMetaユーザーデータは使用していません。私たちは、個人の個人情報を含むことが知られている特定のサイトからのデータを除外しました。事前トレーニングの炭素排出量を削減するために、モデルを効率的にトレーニングするための最善の努力をしました（セクション2.2.1）。私たちのモデルを広く共有することで、他の人が同様のモデルをトレーニングする必要がなくなります。データセットに追加のフィルタリングは行われませんでした。これにより、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleなどがより広く使用可能になります（たとえば、憎悪スピーチの分類により適しています）、同時に、時々起こる偶発的な人口統計の消去の潜在的な可能性を避けることができます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
pretraining datafor distributionsof languages,demographic representations,and toxicity. Wealso present
the results of testing the pretrained models on existing safety benchmarks.
StepsTakentoPretrainResponsibly. WefollowedMeta’sstandardprivacyandlegalreviewprocessesfor
each dataset used in training. We did not use any Meta user data in training. We excluded data from certain
sitesknowntocontainahighvolumeofpersonalinformationaboutprivateindividuals. Wemadeabest
eﬀort to train our models eﬃciently to reduce the carbon footprint of pretraining (Section 2.2.1). Sharing our
modelsbroadlywillreducetheneedforotherstotrainsimilarmodels. Noadditionalﬁlteringwasconducted
onthedatasets,toallow L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle tobemorewidelyusableacrosstasks(e.g.,itcanbebetterusedforhate
speechclassiﬁcation),whileavoidingthepotentialfortheaccidentaldemographicerasuresometimescaused