Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
2Tトークンでの事前トレーニング後、モデルはまだ飽和の兆候を示さないことを観察しました。
トークナイザー。私たちは、L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleと同じトークナイザーを使用しています。バイトペアエンコーディング（BPE）アルゴリズム（Sennrich et al.、2016）を使用し、SentencePiece（Kudo and Richardson、2018）からの実装を採用しています。L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleと同様に、すべての数字を個々の数字に分割し、未知のUTF-8文字をバイトで分解します。総語彙サイズは32kトークンです。
2.2.1 トレーニングハードウェアと炭素排出量
トレーニングハードウェア。私たちは、MetaのResearchSuperCluster（RSC）（Lee and Sengupta、2022）および内部製品クラスターでモデルを事前トレーニングしました。両クラスターはNVIDIA A100を使用しています。両クラスターの間には2つの主な違いがあり、最初は利用可能なインターコネクトのタイプです。RSCはNVIDIA Quantum InfiniBandを使用していますが、当社の製品クラスターはRoCE（RDMA over converged Ethernet）ソリューションを搭載しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
We observe that after pretraining on 2T Tokens, the models still did not show any sign of saturation.
Tokenizer. Weusethesametokenizeras L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle;itemploysabytepairencoding(BPE)algorithm(Sennrich
etal.,2016)usingtheimplementationfromSentencePiece(KudoandRichardson,2018). Aswith L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle,
we split all numbers into individual digits and use bytes to decompose unknown UTF-8 characters. The total
vocabulary size is 32k tokens.
2.2.1 Training Hardware & Carbon Footprint
TrainingHardware. WepretrainedourmodelsonMeta’sResearchSuperCluster(RSC)(LeeandSengupta,
2022)aswellasinternalproductionclusters. BothclustersuseNVIDIAA100s. Therearetwokeydiﬀerences
between the two clusters, with the ﬁrst being the type of interconnect available: RSC uses NVIDIA Quantum
InﬁniBandwhileourproductionclusterisequippedwithaRoCE(RDMAoverconvergedEthernet)solution