ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
スピーチ分類）を避けながら、時には過剰な洗浄によって引き起こされる人口の偶発的な消去の可能性を避けます。重要なのは、これにより、L/l.sc/a.sc/m.sc/a.sc/t.scは、より効果的に一般化することができるようになります。少ない例での安全チューニング中に（Welbl et al.、2021; Korbak et al.、2023; Xu et al.、2021）。その結果、L/l.sc/a.sc/m.sc/a.sc/t.scモデルは慎重に使用し、重要な安全チューニングが適用された後にのみ展開すべきです。
人口統計表現：代名詞。モデル生成の偏りは、トレーニングデータ自体から受け継いだ偏りから生じる可能性があります。たとえば、Bailey et al.（2022）は、大規模なテキストコーパスでは、「人々」を表す単語が「男性」を表す単語とより類似した文脈で使用されることが多いことを示しており、Ganesh et al.（2023）は、モデルの公平性指標に対するモデルのパフォーマンスが、代表されていない人口統計データに基づいてモデルがトレーニングされる方法に大きく依存することを示しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
speechclassiﬁcation),whileavoidingthepotentialfortheaccidentaldemographicerasuresometimescaused
byover-scrubbing. Importantly,thisallows L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc togeneralizemoreeﬀectivelyduringsafetytuning
with fewer examples (Welbl et al., 2021; Korbak et al., 2023; Xu et al., 2021). As a result, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models
should be used carefully and deployed only after signiﬁcant safety tuning is applied.
Demographic Representation: Pronouns. Bias in model generations may result from biases inherited
from the training data itself. For instance, Bailey et al. (2022) shows that in massive text corpora, words
representing “people” are often used in more similar contexts to words representing “men”than to words
representing “women,” andGaneshetal.(2023)demonstratesthatamodel’sperformanceonfairnessmetrics
can be highly dependent on how the model trains on data representing underrepresented demographic