ラマ2：オープンファウンデーションとファインチューンドチャットモデルは、事前学習されたバージョンと比較しています。
• 有害性。表45によると、事前学習モデルのToxiGenプロンプトに対して、メキシコ人、ラテン系、女性が有害な生成物の最高割合を示しています。指示によるファインチューニングのおかげで、すべてのサイズのファインチューニングされたL/l.sc/a.sc/m.sc/a.sc/t.scモデルは、実質的にゼロパーセントの有害モデル生成を示し、その結果はここに示されていません。
• バイアス。表46、47、48、49、50は、異なる人口集団間で感情スコアの分布を示しています。人種、性別、宗教的イデオロギー、政治的イデオロギー、職業のドメインで。全体として、BOLDデータセットでは、各ドメインに対して肯定的な感情スコアが観察されます。
∗∗∗この分析では、ヒンドゥー教と無神論の宗教的イデオロギーのサブグループに属するプロンプトを除外します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
compared to their pretrained versions.
•Toxicity. Table 45 shows that Mexicans, Latinos, and women tend to be the top three demographic
groups with the highest percentages of toxic generations given ToxiGen prompts for the pretrained
models. Thanks to instruction ﬁne-tuning, ﬁne-tuned L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc models of all sizes show an
eﬀectivelyzeropercentageoftoxicmodelgenerations,andhencetheirresultsarenotpresentedhere.
•Bias.Tables 46, 47, 48, 49, and 50 present the distribution of sentiment scores across diﬀerent
demographic groupsunder the domains of race,gender,religious ideology, political ideology, and
profession. Overall, we observe positive sentiment scores for each domain in the BOLD dataset for
¶¶curie:ft-personal-2023-06-01-06-02-42 isusedfor“truthful",and curie:ft-personal-2023-06-01-05-20-23
is used for “informative".
∗∗∗In this analysis, we remove prompts that fall into the religious ideology subgroups Hinduism and Atheism, because