Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
消費：GPUデバイスごとのピーク電力容量、使用されるGPUの電力効率に調整されます。
100％の排出量はMetaの持続可能性プログラムによって直接相殺され、そしてこれらのモデルを公開するため、事前トレーニングコストは他者が負担する必要はありません。
2000台のGPUまで高価なInfinibandとほぼ同じようにスケーリングでき、これにより事前トレーニングがさらに民主化されます。
事前トレーニングの炭素排出量。以前の研究（Bender et al.、2021a; Patterson et al.、2021; Wu et al.、2022; Dodge et al.、2022）に従い、GPUデバイスの消費電力の推定値と炭素効率を使用して、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルの事前トレーニングによる炭素排出量を計算することを目指しています。GPUの実際の電力使用量はその利用状況に依存し、GPUのサーマルデザインパワー（TDP）からの推定値と異なる可能性があります。重要なことは、私たちの計算がインターコネクトや非GPUサーバー電力などのさらなる電力需要を考慮していないことです。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Consumption: peak power capacity per GPU device for the GPUs used adjusted for power usage eﬃciency.
100%oftheemissionsaredirectlyoﬀsetbyMeta’ssustainabilityprogram,andbecauseweareopenlyreleasing
these models, the pretraining costs do not need to be incurred by others.
can scale almost as well as expensive Inﬁniband up to 2000 GPUs, which makes pretraining even more
democratizable.
CarbonFootprintofPretraining. Followingprecedingresearch(Benderetal.,2021a;Pattersonetal.,2021;
Wu et al., 2022; Dodge et al., 2022) and using power consumption estimates of GPU devices and carbon
eﬃciency, we aim tocalculate thecarbon emissions resultingfrom the pretrainingof L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models. The
actualpowerusageofaGPUisdependentonitsutilizationandislikelytovaryfromtheThermalDesign
Power(TDP)thatweemployasanestimationforGPUpower. Itisimportanttonotethatourcalculations
do not account for further power demands, such as those from interconnect or non-GPU server power