ラマ2：オープンファンデーションと微調整されたチャットモデル
は、さまざまな測定シナリオで最も安定したメトリックであることが示されています。私たちの分析で使用されている7段階のLikertスケールの役立ち度タスクでは、GwetのAC2スコアは、特定のモデル比較によって0.37から0.55の間で変動します。私たちは、同じくらいの勝率を持つモデル比較からの評価では、その範囲の下限のスコアを見ます（例：L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc-70B-chat vs. ChatGPT比較）。一方、より明確な勝者を持つモデル比較からの評価では、その範囲の上限のスコアを見ます（例：L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc-34b-chat vs. Falcon-40b-instruct）。人間の評価の制限。私たちの結果は、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scがChatGPTと同等であることを示しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
bethemoststablemetricacrossdiﬀerentmeasurementscenarios. Onthe7-pointLikertscalehelpfulness
taskthatisusedinouranalysis,Gwet’sAC2scorevariesbetween 0:37and0:55dependingonthespeciﬁc
modelcomparison. Weseescoresonthelowerendofthatrangeforratingsfrommodelcomparisonswith
similar win rates to each other (like the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc -70B-chat vs. ChatGPT comparison). We see scores on
thehigherendofthatrangeforratingsfrommodelcomparisonswithamoreclearwinner(likethe L/l.sc/a.sc/m.sc/a.sc
/two.taboldstyle-C/h.sc/a.sc/t.sc-34b-chat vs. Falcon-40b-instruct).
Limitations of human evaluations. While our results indicate that L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is on par with ChatGPT