ラマ2：オープンファンデーションと微調整されたチャットモデル
10 136,729 3.7 723.9 30.5 230.2
11 136,868 3.8 811.9 32.2 251.1
12 181,293 3.9 817.0 30.8 250.9
13 210,881 4.2 905.9 30.3 255.6
14 249,356 4.3 1008.0 31.6 258.9
合計 1,418,091 3.9 798.5 31.4 234.1
表26：バッチごとのメタヒューマンの好みデータ（安全性＆有用性）の統計。バイナリ人間の好み比較には2つの応答（選択されたものと拒否されたもの）が含まれ、同じプロンプト（および前の対話）を共有します。各例はプロンプト（利用可能な場合は前の対話を含む）と応答からなり、これが報酬モデルの入力です。比較の数、対話ごとの平均ターン数、例ごとの平均トークン数、プロンプトごとの平均数、応答ごとの平均数を報告します。
有意に
良い良い少し
良い無視できる
良い/不確か
マージン 小 1 2/3 1/3 0
マージン 大 3 2 1 0
表27：異なる大きさの優先度評価に基づくマージンの2つのバリアント。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
10 136,729 3.7 723.9 30.5 230.2
11 136,868 3.8 811.9 32.2 251.1
12 181,293 3.9 817.0 30.8 250.9
13 210,881 4.2 905.9 30.3 255.6
14 249,356 4.3 1008.0 31.6 258.9
Total 1,418,091 3.9 798.5 31.4 234.1
Table 26: Statistics of Meta human preference data (Safety & Helpfulness) per batch. Note that a binary
humanpreferencecomparisoncontains2responses(chosenandrejected)sharingthesameprompt(and
previous dialogue). Each example consists of a prompt (including previous dialogue if available) and a
response,whichistheinputoftherewardmodel. Wereportthenumberofcomparisons,theaveragenumber
of turns per dialogue, the average number of tokens per example, per prompt and per response.
Signiﬁcantly
BetterBetterSlightly
BetterNegligibly
Better / Unsure
Margin Small 1 2/3 1/3 0
Margin Large 3 2 1 0
Table 27: Two variants of preference rating based margin with diﬀerent magnitude.
Signiﬁcantly
BetterBetterSlightly