Llama 2: オープンファンデーションと微調整されたチャットモデルは、マルチターンの会話では悪化し、これはマルチターンの監督された微調整データの不足による可能性があります。
図19では、異なるLLMのカテゴリごとの安全違反率を示しています。モデルの性能はカテゴリ間で類似していますが、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、非資格のアドバイスのカテゴリで比較的多くの違反を起こしています（ただし、絶対的な意味では低い）。これは、適切な免責事項（例：「私はプロではありません」）が時々欠如しているためなど、さまざまな理由があります。他の2つのカテゴリについては、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、モデルサイズに関係なく、常に比較可能または低い違反率を達成しています。
真実性、有害性、偏り。表14では、微調整されたL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scが大幅に改善されています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
worse on multi-turn conversations, which could be due to its lack of multi-turn supervised ﬁne-tuning data.
InFigure19,weshowtheper-categorysafetyviolationpercentageofdiﬀerentLLMs. Whilemodelperformanceissimilaracrosscategories, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc hasrelativelymoreviolationsunderthe unqualiﬁedadvice
category (although still low in an absolute sense), for various reasons, including lack of an appropriate
disclaimer (e.g., “I am not a professional” ) at times. For the other two categories, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc achieves
comparable or lower violation percentage consistently regardless of model sizes.
Truthfulness,Toxicity,andBias. In Table 14, ﬁne-tuned L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc shows great improvement over the