ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
2022年には、ほぼすべてのベンチマークで優れたパフォーマンスを示しています。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle 70BandGPT-4とPaLM-2-Lの間には、まだ大きな性能差があります。
また、潜在的なデータ汚染も分析し、詳細はセクションA.6に共有しています。
ベンチマーク（ショット）GPT-3.5 GPT-4 PaLM PaLM-2-L L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle
MMLU（5ショット）70.0 86.4 69.3 78.3 68.9
TriviaQA（1ショット）– – 81.4 86.1 85.0
Natural Questions（1ショット）– – 29.3 37.5 33.0
GSM8K（8ショット）57.1 92.0 56.5 80.7 56.8
HumanEval（0ショット）48.1 67.0 26.2 – 29.9
BIG-Bench Hard（3ショット）– – 52.3 65.7 51.2
表4：学術的なベンチマークでのクローズドソースモデルとの比較。GPT-3.5とGPT-4の結果
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
2022)onalmostallbenchmarks. Thereisstillalargegapinperformancebetween L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle 70BandGPT-4
and PaLM-2-L.
We also analysed the potential data contamination and share the details in Section A.6.
Benchmark (shots) GPT-3.5 GPT-4 PaLM PaLM-2-L L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle
MMLU (5-shot) 70.0 86.4 69.3 78.3 68.9
TriviaQA (1-shot) – – 81.4 86.1 85.0
Natural Questions (1-shot) – – 29.3 37.5 33.0
GSM8K (8-shot) 57.1 92.0 56.5 80.7 56.8
HumanEval (0-shot) 48.1 67.0 26.2 – 29.9
BIG-Bench Hard (3-shot) – – 52.3 65.7 51.2
Table 4: Comparison to closed-source models on academic benchmarks. Results for GPT-3.5 and GPT-4