Llama 2: オープンファウンデーションとファインチューンされたチャットモデルは、事前トレーニングデータおよび事前トレーニングモデルにおける安全調査について議論します（セクション4.1）。次に、安全アライメントのプロセス（セクション4.2）を説明し、安全関連の注釈の収集方法とSFTおよびRLHFの利用方法、および実験結果を提示します。その後、モデルの安全性をさらに理解し改善するために行ったレッドチーミングについて議論します（セクション4.3）。最後に、L/l.sc/a.sc/m.sc/a.sc/t.sc（セクション4.4）の定量的な安全性評価を提示します。また、付録のテーブル52にモデルカードも共有します。
4.1 事前トレーニングにおける安全性
事前トレーニングデータに含まれる内容を理解することは重要です。これにより透明性が高まり、潜在的なバイアスなどの下流の問題の根本原因が明らかになります。これにより、考慮すべき下流の緩和策が何か、および適切なモデルの使用方法を案内することができます。このセクションでは、言語、人口統計の表現、有害性の分布について事前トレーニングデータを分析します。また、既存の安全基準に対する事前トレーニングモデルのテスト結果も提示します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
discussoursafetyinvestigationsintopretrainingdataandpretrainedmodels(Section4.1). Next,wedescribe
theprocessofoursafetyalignment(Section4.2),explaininghowwecollectedsafety-relatedannotationsand
utilizedSFTandRLHF,andpresentexperimentalresults. Then,wediscusstheredteamingweperformedto
furtherunderstandandimprovemodelsafety(Section4.3). Finally,wepresentquantitativesafetyevaluations
ofL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc (Section 4.4). We also share a model card in the Appendix, in Table 52.
4.1 Safety in Pretraining
It is important to understand what is in the pretraining data both to increase transparency and to shed
lightonrootcausesofpotentialdownstreamissues,suchaspotentialbiases. Thiscaninformwhat,ifany,
downstream mitigations to consider, and help guide appropriate model use. In this section, we analyze the
pretraining datafor distributionsof languages,demographic representations,and toxicity. Wealso present
the results of testing the pretrained models on existing safety benchmarks.