ラマ2：オープンファンデーションと微調整されたチャットモデル
13B 18.3 60.2 30.6 69.0
34B 22.6 77.2 33.0 76.1
70B 29.9 89.0 45.0 81.4
テーブル21：Human-EvalおよびMBPPでのコード生成結果を報告します。Human-EvalおよびMBPPの0-shotおよび3-shotの結果を報告します。 pass@100およびpass@80のスコアについては、温度を0.8、top-p=0.95を使用します。 pass@1のスコアについては、温度を0.1、top-p=0.95を使用します。
49
NaturalQuestions TriviaQA（Wiki）
0-shot 1-shot 5-shot 64-shot 0-shot 1-shot 5-shot 64-shot
MPT7B 11.6 17.8 20.8 22.7 55.7 59.6 61.2 61.6
30B 15.8 23.0 26.6 29.3 68.0 71.3 73.3 73.6
Falcon7B 15.7 18.1 21.0 24.0 52.6 56.8 64.6 61.1
40B 26.3 29.5 33.5 35.5 74.6 78.6 79.9 79.6
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
13B 18.3 60.2 30.6 69.0
34B 22.6 77.2 33.0 76.1
70B29.9 89.0 45.0 81.4
Table 21: Code generation results on Human-Eval and MBPP . We report 0-shot and 3-shot results for
Human-Eval and MBPP respectively. For pass@100 and pass@80 scores, we use a temperature of 0.8 and
top-p=0.95. For pass@1 scores, we use a temperature of 0.1 and top- p=0.95.
49
NaturalQuestions TriviaQA (Wiki)
0-shot 1-shot 5-shot 64-shot 0-shot 1-shot 5-shot 64-shot
MPT7B 11.6 17.8 20.8 22.7 55.7 59.6 61.2 61.6
30B 15.8 23.0 26.6 29.3 68.0 71.3 73.3 73.6
Falcon7B 15.7 18.1 21.0 24.0 52.6 56.8 64.6 61.1
40B26.3 29.5 33.5 35.5 74.6 78.6 79.9 79.6