Llama 2: オープンファンデーションとファインチューンされたチャットモデル
言語モデルは、情報提供と同時に質問に対する答えを生成する際に真実であることが重要です。
TruthfulQAベンチマークには、健康、金融、法律、政治など38のカテゴリにわたる817の質問が含まれており、人間でさえも根拠のない信念や誤解によって誤った回答をする可能性があります（Lin et al.、2021）。Lin et al.（2021）に従い、人間の判断を予測する際に堅牢なパフォーマンスを示したGPT-3ベースのメトリクスを使用しています。具体的には、ファインチューニングされたGPT-3モデル¶¶、つまり「GPT-judge」を使用して、LLMから生成された出力の真実性と情報提供性を予測しています。QAプロンプトについては、InstructGPT（Ouyang et al.、2022）に従ったフォーマットの6つのランダムなQAペアを含むフューショットプロンプトを採用しています。生成物のうち真実でありかつ情報提供性がある割合、および真実であるか情報提供性がある割合を報告しています。
有害性。異なるグループ間での有害な言語や憎悪表現の生成度を測定するために、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
alanguagemodelistruthfulingeneratinganswerstoquestionswhilebeinginformativeatthesametime.
The TruthfulQA benchmark consists of 817 questions distributed across 38 categories, including but not
limited tohealth, ﬁnance,law, andpolitics (Lin etal., 2021). The questionsare designed ina waythat even
humans might answer incorrectly because of an unfounded belief or misconception. Following Lin et al.
(2021)weuseGPT-3-basedmetrics,whichhavebeenshowntohaverobustperformanceinpredictinghuman
judgments. Speciﬁcally, a ﬁne-tuned GPT-3 model¶¶, i.e. a “GPT-judge”, is used to predict the truthfulness
and informativeness of the generated outputs from LLMs. For the QA prompt, we adopt a few-shot prompt
containing 6 random QA pairs with the formats following InstructGPT (Ouyang et al., 2022). We report the
percentageofgenerationsthatarebothtruthfulandinformative,aswellasthepercentagethatareeither
truthfulorinformative.
Toxicity. Tomeasurethedegreeofgenerationoftoxiclanguageandhatespeechacrossdiﬀerentgroups,we