ラマ2：オープンファンデーションと微調整されたチャットモデル
違反しているかどうかを判断するための投票。私たちは、GwetのAC1/2統計を使用して相互評価者信頼性（IRR）を測定しました。IRRスコアは、注釈のバッチによって異なり、安全評価における注釈者間の高い合意度を示しています。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc注釈では、GwetのAC2測定による平均IRRは0.92です。モデルが違反率が高いバッチではIRRスコアが低く、（例えば、Vicuna）モデルが比較的低い違反率を持つバッチではIRRスコアが高くなっています（例えば、L/l.sc/a.sc/m.sc/a.sc/t.sc、Falcon、およびChatGPT）。図18：単一ターンとマルチターンの違反率。これらの結果は、プロンプトセットの制限、レビューガイドラインの主観性、コンテンツ基準、および個々の評価者の制限に注意して解釈する必要があります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
votetodetermineiftheresponseisviolatingornot. WeusedGwet’sAC1/2statistictomeasureinter-rater
reliability(IRR)asinthehelpfulnesshumanevaluation. TheIRRscoresrangefrom 0:70to0:95depending
on the annotation batch, indicating a high degree of agreement among annotators on safety assessments.
OnL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc annotations, the average IRR is 0:92according to Gwet’s AC2 measure. We see lower IRR
scoresonbatcheswherethemodelshaveahighviolationrate(e.g.,Vicuna)andhigherIRRscoresonbatches
where the models have relatively low violation rates (e.g., L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , Falcon, and ChatGPT).
Figure 18: Single-turn and multi-turn violation percentage. Notethat these resultsshouldbeinterpreted
carefully due to limitations of the prompt set, subjectivity of the review guidelines, content standards, and
individual raters.