Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
トークンを倍増し、コンテキストの長さを増やし、グループ化されたクエリアテンション（GQA）を使用して、より大きなモデルの推論の拡張性を向上させました。表1は、新しいL/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルとL/l.sc/a.sc/m.sc/a.sc/one.taboldstyleモデルの属性を比較しています。
2.1 プリトレーニングデータ
当社のトレーニングコーパスには、Metaの製品やサービスのデータを含まない、公に利用可能なソースからの新しいデータのミックスが含まれています。私たちは、個人の個人情報を含むと知られている特定のサイトからのデータを削除する努力をしました。これにより、知識を増やし幻覚を抑制するために、2兆トークンのデータでトレーニングを行いました。
私たちは、ユーザーがモデルの潜在的な能力と制限をよりよく理解できるように、さまざまなプリトレーニングデータの調査を行いました。結果はセクション4.1にあります。
2.2 トレーニングの詳細
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
tokens,doubledthecontextlength,andusedgrouped-queryattention(GQA)toimproveinferencescalability
for our larger models. Table 1 compares the attributes of the new L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models with the L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle models.
2.1 Pretraining Data
Our training corpus includes a new mix of data from publicly available sources, which does not include data
fromMeta’sproductsorservices. Wemadeaneﬀorttoremovedatafromcertainsitesknowntocontaina
highvolumeofpersonalinformationaboutprivateindividuals. Wetrainedon2trilliontokensofdataasthis
providesagoodperformance–costtrade-oﬀ,up-samplingthemostfactualsourcesinaneﬀorttoincrease
knowledge and dampen hallucinations.
Weperformedavarietyofpretrainingdatainvestigationssothatuserscanbetterunderstandthepotential
capabilities and limitations of our models; results can be found in Section 4.1.
2.2 Training Details