Llama 2: オープンファンデーションと微調整されたチャットモデルは、プロンプトセットの制限、レビューガイドラインの主観性、コンテンツ基準、および個々の評価者の制限に注意してください。図17には、さまざまなLLMの全体的な違反率と安全評価が示されています。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scは、モデルサイズ全体の違反率が同等またはそれ以下であり、その後にChatGPTとFalcon(Almazrouei et al., 2023)が続き、MPT(MosaicMLNLP Team et al., 2023)とVicuna(Chiang et al., 2023)が続きます。これらの結果を注意深く解釈することが重要です。なぜなら、プロンプトセットの制限、レビューガイドラインの主観性、コンテンツ基準、および個々の評価者の主観性に影響を受けるからです。手動分析によると、Falconの応答は通常短い（1〜2文）、したがって安全であるが一般的にはあまり役に立たないことがわかりました。これは、Falconの多くの応答が評価=3であることに反映されています。その結果、図17bではFalconの平均評価がL/l.sc/a.sc/m.sc/a.scよりもはるかに低いことに注意してください。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
carefully due to limitations of the prompt set, subjectivity of the review guidelines, content standards, and
individual raters.
We show the overall violation percentage and safety rating of various LLMs in Figure 17. L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc has
comparableorloweroverallviolationpercentageacrossmodelsizes,whileChatGPTandFalcon(Almazrouei
etal., 2023)come next, thenMPT (MosaicMLNLP Teamet al.,2023) andVicuna(Chiang etal., 2023). It is
importanttointerprettheseresultscarefully,astheyareaﬀectedbylimitationsofthepromptset,subjectivity
of the review guidelines, content standards, and subjectivity of individual raters. Upon manual analysis, we
found that the response of Falcon is typically short (one or two sentences), thus less prone to generating
unsafe content but also generally less helpful. This is reﬂected by a large number of responses of Falcon with
rating = 3. As a result, we note that in Figure 17b the average rating of Falcon is much lower than L/l.sc/a.sc/m.sc/a.sc