Llama 2: オープンファウンデーションと微調整されたチャットモデル
ChatGPTに対する36%の勝率と31.5%の引き分け率。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 70Bモデルは、PaLM-bisonチャットモデルよりも大幅に優れています。詳細な結果と分析はセクションA.3.7で利用可能です。
相互評価信頼性（IRR）。私たちの人道的評価では、3人の異なる注釈者がそれぞれのモデル生成比較に独立した評価を提供しました。高いIRRスコア（1.0に近い）は、データ品質の観点からは通常良いとされますが、文脈が重要です。LLM生成の全体的な有用性を評価するような高度に主観的なタスクは、通常、より客観的なラベリングタスクよりも低いIRRスコアになります。これらの文脈には比較的少ない公共のベンチマークがありますので、ここでの分析を共有することが研究コミュニティに利益をもたらすと考えています。
GwetのAC1/2統計（Gwet, 2008, 2014）を使用して相互評価信頼性（IRR）を測定しました。異なる測定シナリオで最も安定したメトリックであると判断しました。7段階のLikertスケールの有用性
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
36% and a tie rate of 31.5% relative to ChatGPT. L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 70B model outperforms PaLM-bison chat
model by a large percentage on our prompt set. More results and analysis is available in Section A.3.7.
Inter-RaterReliability(IRR). Inourhumanevaluations,threediﬀerentannotatorsprovidedindependent
assessments for each model generation comparison. High IRR scores (closer to 1.0) are typically seen as
better from a data quality perspective, however, context is important. Highly subjective tasks like evaluating
the overall helpfulness of LLM generations will usually have lower IRR scores than more objective labelling
tasks. There arerelativelyfewpublicbenchmarksfor thesecontexts, sowefeelsharing ouranalysis herewill
beneﬁt the research community.
We used Gwet’s AC1/2 statistic (Gwet, 2008, 2014) to measure inter-rater reliability (IRR), as we found it to
bethemoststablemetricacrossdiﬀerentmeasurementscenarios. Onthe7-pointLikertscalehelpfulness