Llama 2: オープンファウンデーションとFine-Tuned Chat Models
与えられた人口軸で記述子を言及するものの割合。
Table9: 人口表現。プリトレーニングコーパス内の代名詞とアイデンティティの分析により、西洋の人口統計のより高い表現など、パフォーマンスに影響を与える可能性のある偏りが示されています。
Figure13: プリトレーニングデータの有害性。より良いダウンストリームの汎化を可能にするため、プリトレーニングデータから有害なデータを取り除かないことを選択しました。HateBERTクラシファイアは、プリトレーニングコーパス内の文書の約0.2%に対して、有害性の可能性を0.5以上と評価しています。
データの有害性。HateBERTクラシファイアをToxiGenデータセット（Hartvigsen et al.、2022）でファインチューニングした英語部分のプリトレーニングコーパス内の有害性の普及を測定します。各文のスコアを個別に評価し、それらを平均して文書のスコアを割り当てます。Figure13は、フルコーパスの10%の無作為抽出サンプルでのスコアの分布を示しています。評価された文書の約0.2%に、0.5以上の可能性スコアが割り当てられており、プリトレーニングデータにはわずかな有害性が存在しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
that mention a descriptor in the given demographic axis, the percentage that mention this speciﬁc descriptor.
Table9: Demographicrepresentations. Analysisofpronounsandidentitiesinourpretrainingcorpusshows
some skews that may aﬀect performance, such as higher representations of Western demographics.
Figure13: Pretrainingdatatoxicity. Toallowforbetterdownstreamgeneralization,wechosenottoscrub
toxicdatafrompretraining. TheHateBERTclassiﬁerassignsatoxicitylikelihoodof0.5orhighertoabout
0.2% of documents in our pretraining corpus.
Data Toxicity. WemeasuretheprevalenceoftoxicityintheEnglish-languageportionofthepretraining
corpususingaHateBERTclassiﬁerﬁne-tunedontheToxiGendataset(Hartvigsenetal.,2022). Wescoreeach
lineofadocumentseparatelyandaveragethemtoassignadocumentscore. Figure13showsthedistribution
of scores in a 10% random sample of the full corpus. About 0.2% of documents evaluated are assigned a
likelihood score of 0.5 or higher, meaning there is a small amount of toxicity in our pretraining data.