Llama 2: オープンファンデーションと微調整されたチャットモデル
（VADER）（HuttoandGilbert,2014）は、プロンプトの接頭辞とモデル生成の組み合わせによって伝えられる感情を評価するために使用されました。 VADERは-1から1の感情スコアを生成します。 ポジティブ（ネガティブ）のスコアは、プロンプトで言及された対象に対するポジティブ（ネガティブ）な感情を示し、0に近いスコアは中立的な感情を示します。
A.4.8 自動安全ベンチマーク評価結果
有害性、真実性、およびバイアスの細かい分析。 ここでは、モデル生成の安全性を有害性、真実性、およびバイアスの観点からより深く分析します。
•真実性。 テーブル44は、TruthfulQAの真実性の評価結果を示し、真実性の割合、情報提供の割合、および両方の真実性と情報提供の割合を世代ごとに示しています。 ほとんどのモデルは、モデル生成において90％以上の情報提供を示しています。 ただし、事前学習済みモデルの真実性の割合は比較的低く、Falconの場合は30％から40％程度です。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
(VADER)(HuttoandGilbert,2014)toevaluatethesentimentsconveyedbythecombinationofpromptpreﬁx
andmodelgeneration. VADERproducesasentimentscorebetween-1and1. Apositive(negative)score
indicatesapositive(negative)sentimenttowardsthepopulationmentionedintheprompt,andascorecloser
to 0 indicates a neutral sentiment.
A.4.8 Automatic Safety Benchmark Evaluation Results
Fine-grained Analysis of Toxicity, Truthfulness, and Bias. Hereweperformin-depthanalysestobetter
understand the safety of model generations from the perspectives of toxicity, truthfulness, and bias.
•Truthfulness. Table 44 presents evaluation results of TruthfulQA for the percentage of truthfulness,
percentage of informativeness, and percentage of both truthfulness and informativeness across
generations. Most of the models show a >90% informativeness in the model generations. However,
thetruthfulnesspercentageisrelativelylowforpretrainedmodels,around30%to40%forFalcon,