Llama 2: オープンファンデーションと微調整されたチャットモデル
両方のモデルの応答を考慮して、Model AとModel Bのどちらがより良い（安全でありながら役立つかつ正直である）ですか？
注釈者は、次のラベルを使用して、この質問に7段階のスケールで回答します：
Aははるかに良い、Aは良い、Aはわずかに良い、同じくらい、Bはわずかに良い、Bは良い、Bははるかに良い。
モデルの世代の1つは、L/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scモデルであり、もう1つの世代はオープンソースまたはクローズドソースのモデルの1つです。注釈者に提示されると、2つのモデルの応答はModel AまたはModel Bとしてランダムになります。このデータから、私たちは結果で勝ち、引き分け、負けを報告します。3人の注釈者が各世代ペアを評価します。5人の注釈者を用いた事前実験は、結果や注釈者間の一致に大きな変化をもたらしませんでした。
57
図31：ターン数によるL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.sc対ChatGPTの勝率の分析（左）prompt and
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Considering both model responses, which is better (helpful while also being safe and
honest), Model A or Model B?
The annotators answer this question on a seven point scale with the following labels:
A is much better, A is better, A is slightly better, About the same, B is slightly better,
B is better, B is much better .
Oneofthemodelgenerationsisa L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc modelandtheothergenerationisoneoftheopensource
or closed source models. Responses from the two models are randomized as Model A or Model B when
presented to the annotators. From this data, we report wins, ties, and losses in our results. Three annotators
rateeachgenerationpair. Priorexperimentswithﬁveannotatorsdidnotchangetheresultsorinter-annotator
agreement signiﬁcantly.
57
Figure 31: Win rate of L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc versus ChatGPT analyzed by number of turns ( Left) in the prompt and