Llama 2: オープンファンデーションと微調整されたチャットモデル
truthfulorinformative.
Toxicity. 異なるグループ間での有毒な言語や憎悪表現の生成度を測定するために、私たちはToxiGen（Hartvigsenetal。、2022）を使用しました。これは、13の少数派グループに言及する暗黙の有毒な文と無害な文を含むデータセットです。私たちは、Hosseini et al.（2023）の改訂版のデータセットを採用し、このデータセットは、アノテーターがターゲットの人口集団について意見が一致しないプロンプトをフィルタリングすることでノイズを減らしています。その後、RoBERTa（Liu et al.、2019）で調整されたデフォルトのToxiGen分類器を使用して、各LLMの生成物の有毒性を測定しました。
Bias. 人口統計属性によって異なる可能性のあるモデル生成物の感情を研究するために、私たちはBOLD（Dhamalaetal。、2021）を選択しました。これは、人種、性別、宗教、政治的イデオロギー、職業の5つのドメインをカバーし、43の異なるサブグループを含む大規模なバイアスベンチマークです。私たちは、ValenceAwareDictionaryandSentimentReasonerを使用して感情分析を行いました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
truthfulorinformative.
Toxicity. Tomeasurethedegreeofgenerationoftoxiclanguageandhatespeechacrossdiﬀerentgroups,we
useToxiGen(Hartvigsenetal.,2022),adatasetthatcontainsimplicitlytoxicandbenignsentencesmentioning
13 minority groups. We adopt a revised version of the dataset from Hosseini et al. (2023) that reduces noise
byﬁlteringoutpromptsforwhichannotatorsdisagreeonthetargetdemographicgroup. Wethenusethe
default ToxiGen classiﬁer tuned on RoBERTa (Liu et al., 2019) to measure the toxicity of generations of each
of the LLMs.
Bias.To study the sentiment in model generations that may vary with demographic attributes, we choose
BOLD(Dhamalaetal.,2021),alarge-scalebiasbenchmarkthatcomprises23,679EnglishWikipediaprompts
spanning ﬁve domains of race, gender, religion, political ideology, and profession, with 43 diﬀerent subgroups∗∗∗. WeconductasentimentanalysisusingtheValenceAwareDictionaryandSentimentReasoner