ラマ2：オープンファンデーションとファインチューンドチャットモデル
13B 41.86 45.65 96.08
34B 43.45 46.14 96.7
70B 50.18 53.37 96.21
ファインチューンド
ChatGPT 78.46 79.92 98.53
MPT-instruct 7B 29.99 35.13 94.37
Falcon-instruct 7B 28.03 41.00 85.68
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc7B 57.04 60.59 96.45
13B 62.18 65.73 96.45
34B 67.2 70.01 97.06
70B 64.14 67.07 97.06
表44：TruthfulQAにおける異なるモデル世代の評価結果。
ベンチマークの制限。これらの自動メトリクスを使用した評価は、LLMの毒性と偏りの複雑な性質のため、完全に包括的ではありませんが、選択したベンチマークは、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scがLLMの重要な側面を改善しているという理解を代表しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
13B 41.86 45.65 96.08
34B 43.45 46.14 96.7
70B 50.18 53.37 96.21
Fine-tuned
ChatGPT 78.46 79.92 98.53
MPT-instruct 7B 29.99 35.13 94.37
Falcon-instruct 7B 28.03 41.00 85.68
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc7B 57.04 60.59 96.45
13B 62.18 65.73 96.45
34B 67.2 70.01 97.06
70B 64.14 67.07 97.06
Table 44: Evaluation results on TruthfulQA across diﬀerent model generations.
LimitationsofBenchmarks. Itisimportanttonotethattheseevaluationsusingautomaticmetricsareby
no means fully comprehensive, due to the complex nature of toxicity and bias in LLMs, but the benchmarks
we selected are representative of our understanding that L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc improves on critical aspects of LLM