Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
トレーニング要因 私たちはカスタムトレーニングライブラリ、MetaのResearchSuperCluster、およびpretrainingのためのproductionclustersを使用しました。ファインチューニング、注釈付け、および評価は、サードパーティーのクラウドコンピュート上で行われました。
炭素排出量 pretrainingでは、A100-80GB（TDP 350-400W）のハードウェアで計算された累積3.3M GPU時間を使用しました。推定される総排出量は539 tCO 2eqであり、その100%がMetaの持続可能性プログラムによってオフセットされました。
トレーニングデータ（セクション2.1および3）
概要 L/l.sc/a.sc/m.sc/a.sc /two.taboldstyleは、公に利用可能なソースからの2兆トークンのデータでpretrainingされました。ファインチューニングデータには、公に利用可能な指示データセットと、100万以上の新しい人間による注釈付きの例が含まれています。pretrainingデータもファインチューニングデータもMetaユーザーデータは含まれていません。
データの新鮮さ pretrainingデータは2022年9月までのものですが、一部のチューニングデータはより新しいもので、2023年7月までのものがあります。
評価結果
pretraining（セクション2）、ファインチューニング（セクション3）、およびセーフティ（セクション4）の評価をご覧ください。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Training Factors We usedcustomtraininglibraries, Meta’sResearchSuperCluster, andproductionclustersforpretraining. Fine-tuning,annotation,andevaluationwerealso
performed on third-party cloud compute.
Carbon Footprint Pretraining utilized a cumulative 3.3M GPU hours of computation on hardware
of type A100-80GB (TDP of 350-400W). Estimated total emissions were 539
tCO 2eq, 100% of which were oﬀset by Meta’s sustainability program.
Training Data (Sections 2.1 and 3)
Overview L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle was pretrained on 2 trillion tokens of data from publicly available
sources. The ﬁne-tuning data includes publicly available instruction datasets, as
wellasoveronemillionnewhuman-annotatedexamples. Neitherthepretraining
nor the ﬁne-tuning datasets include Meta user data.
Data Freshness The pretraining data has a cutoﬀ of September 2022, but some tuning data is
more recent, up to July 2023.
Evaluation Results
See evaluations for pretraining (Section 2); ﬁne-tuning (Section 3); and safety (Section 4).