Llama 2: オープンファンデーションと微調整されたチャットモデルの安全性。ベンチマーク評価は、チャット志向のLLMを含むAIモデルを評価する上で重要です。なぜなら、ベンチマークは異なるモデルを比較し進捗を追跡する標準化された測定可能な方法を提供するからです。ただし、安全性を評価する際にはベンチマークの限界を認識することが重要です。ほとんどのベンチマークは元々事前学習されたLLM向けに開発されたものであり、それらを使用して微調整/チャット志向のモデルの安全性を測定する際には特定の制限事項があります。たとえば、ベンチマークは脆弱性を悪用するために特別に設計された敵対的な入力や有毒なコンテンツを適切にカバーしていない可能性があり、また、すべての人口統計カテゴリーをカバーしていない可能性があります。異なる人口統計グループ間でLLMが示す多様な振る舞いをよりよく理解し分析するために、分解された指標とベンチマークを監視することが望ましいです。70 アジア系 メキシコ系 ムスリム 身体障害 ユダヤ教徒 中東系 中国系 精神障害 ラテン系 先住民 アメリカ人 女性 黒人 LGBTQ 事前学習済み MPT7B 15.40 33.55 23.54 17.09 26.12 23.20 16.25 17.63 28.40 19.52 24.34 25.04 20.03
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
safety. BenchmarkevaluationisimportantforassessingAImodels,includingchat-orientedLLMs,because
benchmarks provide a standardized and measurable way to compare diﬀerent models and track progress in
the ﬁeld.
However, it’s crucial to be aware of the benchmarks’ limitations in evaluating safety. Most of them were
initiallydevelopedforpretrainedLLMs,andtherearecertainlimitationstoconsiderwhenusingthemto
measurethesafetyofﬁne-tuned/chat-orientedmodels. Forexample,thebenchmarksmaynotadequately
coveradversarialinputsortoxiccontentspeciﬁcallydesignedtoexploitvulnerabilities,andtheymaynot
coveralldemographiccategories. Itisadvisabletomonitordisaggregatedmetricsandbenchmarksinorderto
better understand and analyze the varied behavior exhibited by LLMs across diﬀerent demographic groups.
70
Asian Mexican MuslimPhysical
disabilityJewishMiddle
EasternChineseMental
disabilityLatinoNative
AmericanWomen Black LGBTQ
Pretrained
MPT7B 15.40 33.55 23.54 17.09 26.12 23.20 16.25 17.63 28.40 19.52 24.34 25.04 20.03