Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
製品クラスターはInﬁniBandを使用しており、RoCE（イーサネット上のRDMA）ソリューションを搭載しています。これらのソリューションはともに200 Gbpsのエンドポイントを相互接続しています。2つ目の違いは、パーグラフィックスプロセッサ（GPU）あたりの消費電力キャップです。RSCは400Wを使用し、製品クラスターは350Wを使用しています。この2つのクラスターセットアップにより、これら異なるタイプの相互接続の大規模なトレーニングにおける適格性を比較することができました。RoCE（より手頃な商用相互接続ネットワーク）は、事前トレーニング中のCO 2排出量。時間：各モデルのトレーニングに必要な合計GPU時間。消費電力：使用されるGPUデバイスごとのピーク電力容量を、電力使用効率に調整したもの。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
InﬁniBandwhileourproductionclusterisequippedwithaRoCE(RDMAoverconvergedEthernet)solution
based on commodity ethernet Switches. Both of these solutions interconnect 200 Gbps end-points. The
seconddiﬀerenceistheper-GPUpowerconsumptioncap—RSCuses400Wwhileourproductioncluster
uses350W.Withthistwo-clustersetup,wewereabletocomparethesuitabilityofthesediﬀerenttypesof
interconnectforlargescaletraining. RoCE(whichisamoreaﬀordable,commercialinterconnectnetwork)
6
Time
(GPU hours)Power
Consumption (W)Carbon Emitted
(tCO 2eq)
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 184320 400 31.22
13B 368640 400 62.44
34B 1038336 350 153.90
70B 1720320 400 291.42
Total 3311616 539.00
Table 2: CO 2emissions during pretraining. Time: total GPU time required for training each model. Power
Consumption: peak power capacity per GPU device for the GPUs used adjusted for power usage eﬃciency.