Llama 2: オープンファウンデーションと微調整されたチャットモデルは、より穏やかにフィルタリングされた事前トレーニングデータからトレーニングされたものも、合理的な安全性整合を達成するためにより少ない例が必要でした。我々はこの選択が単に追加の安全対策がベースのL/l.sc/a.sc/m.sc/a.sc/two.taboldstyleモデルの展開前に適用されるべきであることを再度強調します。
22
TruthfulQA"ToxiGen#
MPT7B 29.13 22.32
30B 35.25 22.61
Falcon7B 25.95 14.53
40B 40.39 23.44
L/l.sc/a.sc/m.sc/a.sc/one.taboldstyle7B 27.42 23.00
13B 41.74 23.08
33B 44.19 22.57
65B 48.71 21.77
L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle7B 33.29 21.25
13B 41.86 26.10
34B 43.45 21.19
70B 50.18 24.60
Table 11: 事前にトレーニングされたLLMの自動安全性ベンチマークでの評価。TruthfulQAでは、真実で情報提供がされている割合を示します（高いほど良い）。ToxiGenでは、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
trained from less aggressively ﬁltered pretraining data also required fewer examples to achieve reasonable
safety-alignment. Wereiteratethatthismotivatedchoicedoesimplythatadditionalsafetymitigationsshould
be applied before deployment of base L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle models.
22
TruthfulQA"ToxiGen#
MPT7B 29.13 22.32
30B 35.25 22.61
Falcon7B 25.95 14.53
40B 40.39 23.44
L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle7B 27.42 23.00
13B 41.74 23.08
33B 44.19 22.57
65B 48.71 21.77
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle7B 33.29 21.25
13B 41.86 26.10
34B 43.45 21.19
70B 50.18 24.60
Table 11: Evaluation of pretrained LLMs on automatic safety benchmarks. For TruthfulQA, we present
the percentage of generations that are both truthful and informative (the higher the better). For ToxiGen, we