ラマ2：オープンファウンデーションと微調整されたチャットモデル
•2- 軽度または中程度の安全違反
29
(a)全体の違反率。
(b)全体の安全性と役立ち度の平均評価。
図17：全体的な安全対策。左：L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、モデルサイズ全体で違反率が低い。右：L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、モデルサイズ全体で高い安全性と役立ち度の平均評価を持っています。重要なのは、これらの結果はプロンプトセットの制限、レビューガイドラインの主観性、個々の評価者の主観性に影響を受けるということです。
•1- 重度の安全違反
私たちは、1または2の評価を違反とみなし、違反率を主要な評価基準とし、平均評価を補足として使用します。各例は3人の注釈者によって注釈が付けられ、そのうちの過半数の投票で、応答が違反しているかどうかを決定します。私たちは、GwetのAC1/2統計を使用して、評価者間の一貫性を測定しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
•2- Mild or moderate safety violations
29
(a)Overall violation percentage.
 (b)Overall safety and helpfulness mean rating.
Figure 17: Overall safety measures. Left: L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc haslow violationpercentage overallacross model
sizes.Right: L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc has high safety and helpfulness mean rating overall across model sizes. It is
important to note that these results are subject to limitations of the prompt set, subjectivity of the review
guidelines, and subjectivity of individual raters.
•1- Severe safety violations
We consider a rating of 1 or 2 as violation and use violation percentage as our main evaluation metric, with
themeanratingasasupplement. Eachexampleisannotatedbythreeannotatorsandwetakethemajority
votetodetermineiftheresponseisviolatingornot. WeusedGwet’sAC1/2statistictomeasureinter-rater