Llama 2: オープンファウンデーションと微調整されたチャットモデルは、GPT-4のプロンプトにランダムに交換され、偏りを避けるために現れます。予想通り、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scに有利な勝率はあまり顕著ではありませんが、最新のL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scで60%以上の勝率を得ることができます。
プロンプトは、それぞれ安全性と有用性の検証セットに対応する1,586および584のプロンプトです。
3.4.2 人間による評価
人間による評価は、自然言語生成、対話モデルを判断するためのゴールドスタンダードとされることがよくあります。主要なモデルバージョンの品質を評価するために、人間の評価者に安全性と有用性について評価してもらいました。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scモデルをオープンソースモデル（ファルコン、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
appearedinGPT-4promptarerandomlyswappedtoavoidanybias. Asexpected,thewin-rateinfavorof
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is less pronounced, although obtaining more than a 60% win-rate for our latest L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc .
The prompts correspond to a validation set of 1;586and584prompts for safety and helpfulness, respectively.
3.4.2 Human Evaluation
Human evaluation is often considered the gold standardfor judging models fornatural language generation,
including dialogue models. To evaluate the quality of major model versions, we asked human evaluators to
rate them on helpfulness and safety. We compare the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc models to open-source models (Falcon,