Llama 2: オープンファウンデーションと微調整されたチャットモデルは、相互接続や非GPUサーバーの電力消費など、さらなる電力需要を考慮していません。また、Guptaら(2022b,a)によると、AIハードウェア（GPUなど）の生産に関連する炭素排出量は、総合的な炭素フットプリントに追加される可能性があります。表2は、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleファミリーのモデルの事前トレーニングによる炭素排出量をまとめています。A100-80GB（TDP 400Wまたは350W）のハードウェアで合計3.3M GPU時間の計算が実行されました。私たちはトレーニングの合計排出量を539tCO2eqと推定していますが、そのうち100%はMetaの持続可能性プログラムによって直接相殺されました。∗∗私たちのオープンリリース戦略は、これらの事前トレーニングコストが他の企業によって負担される必要がなくなり、より多くの地球資源を節約することを意味します。
2.3 L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle 事前トレーニングモデルの評価
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
do not account for further power demands, such as those from interconnect or non-GPU server power
consumption,norfromdatacentercoolingsystems. Additionally,thecarbonoutputrelatedtotheproduction
of AI hardware, like GPUs, could add to the overall carbon footprint as suggested by Gupta et al. (2022b,a).
Table 2 summarizes the carbon emission for pretraining the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle family of models. A cumulative of
3.3M GPUhours ofcomputation wasperformed onhardware oftype A100-80GB (TDPof 400Wor 350W).
Weestimatethetotalemissionsfortrainingtobe 539tCO 2eq,ofwhich100%weredirectlyoﬀsetbyMeta’s
sustainability program.∗∗Our open release strategy also means that these pretraining costs will not need to
be incurred by other companies, saving more global resources.
2.3 L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle Pretrained Model Evaluation