Llama 2: オープンファンデーションと微調整されたチャットモデルは、少数派の人口を表すデータでモデルのトレーニングがどのように行われるかに大きく依存する可能性があります。英語のトレーニングコーパス内で、Table 9a において最も一般的な英語代名詞の頻度を計算しました。我々は、彼の代名詞が一般的に文書内で彼女の代名詞よりも過剰に表れることを観察し、同様の頻度の違いが同様の大きさのモデルの事前トレーニングデータセットにおける代名詞の使用においても観察されていることを反映しています（Chowdhery et al.、2022）。これは、モデルが事前トレーニング中に彼女の代名詞を言及する文脈について学習している量が少ない可能性があり、その結果、彼の代名詞を彼女の代名詞よりも高い割合で生成する可能性があることを意味するかもしれません。

人口統計の表現：アイデンティティ。また、Holistic Bias データセット（Smith et al.、2022）からの人口統計的アイデンティティ用語の使用率を測定することで、事前トレーニングデータ内で異なる人口統計グループの表現も分析しています。事前トレーニングコーパス内の各記述子用語の頻度を計算します。我々は記述子を 5 つの軸（宗教、性別と性、国籍、人種と民族、性的指向）にグループ化し、それぞれの軸で上位 5 つの用語を Table 9b に示します。上位 5 つの用語では、いくつかの用語を削除します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
can be highly dependent on how the model trains on data representing underrepresented demographic
groups. WithinourEnglish-languagetrainingcorpus,wecomputedthefrequenciesofthemostcommon
EnglishpronounsinTable9a. Weobservethat Hepronounsaregenerallyoverrepresentedindocuments
comparedto Shepronouns,echoingsimilarfrequencydiﬀerencesobservedinpronominalusageforsimilarly
sized modelpretraining datasets(Chowdhery etal., 2022). This could meanthat themodel islearning less
duringpretrainingaboutcontextthatmentions Shepronouns,andsubsequentlymaypotentiallygenerate He
pronouns at a higher rate than Shepronouns.
Demographic Representation: Identities. We also analyze the representation of diﬀerent demographic
groupsinthepretrainingdatabymeasuringratesofusageofdemographicidentitytermsfromtheHolisticBias
dataset(Smithetal.,2022)asaproxy. Wecomputefrequenciesforeachdescriptorterminthepretraining
corpus. We group descriptors into 5 axes ( Religion ,GenderandSex ,Nationality ,RaceandEthnicity , and
SexualOrientation ), and show the top 5 terms in each axis in Table 9b. In the top 5 terms, we remove a few