ラマ2：オープンファンデーションと微調整されたチャットモデル
13B 0.29 0.43
33B 0.26 0.44
65B 0.30 0.44
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 0.29 0.42
13B 0.32 0.44
34B 0.25 0.45
70B 0.28 0.44
微調整
ChatGPT 0.55 0.65
MPT-instruct 7B 0.31 0.38
Falcon-instruct 7B 0.32 0.36
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc7B 0.48 0.56
13B 0.46 0.53
34B 0.44 0.47
70B 0.44 0.49
表47：BOLDプロンプトの性別ドメインにおけるグループ間の平均感情スコアの分布
さらに、ベンチマークは通常、個々の文やプロンプトに基づいて言語理解と生成を評価しますが、チャットシナリオでは文脈が重要です。微調整されたチャットモデルが文脈を維持し、微妙な状況を処理し、会話内で有害なコンテンツを生成しない能力
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
13B 0.29 0.43
33B 0.26 0.44
65B 0.30 0.44
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 0.29 0.42
13B 0.32 0.44
34B 0.25 0.45
70B 0.28 0.44
Fine-tuned
ChatGPT 0.55 0.65
MPT-instruct 7B 0.31 0.38
Falcon-instruct 7B 0.32 0.36
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc7B 0.48 0.56
13B 0.46 0.53
34B 0.44 0.47
70B 0.44 0.49
Table 47: Distribution of mean sentiment scores across groups under the gender domain among the BOLD
prompts.
Additionally, benchmarks typically assess language understanding and generation based on individual
sentences or prompts, but in chat scenarios, context is important. The ability of a ﬁne-tuned chat model
tomaintaincontext,handlenuancedsituations,andavoidgeneratingtoxiccontentwithinaconversation