Llama 2: オープンファンデーションと微調整されたチャットモデル
ただし、より大きなマージンは類似のサンプルでのパフォーマンスを低下させます。
また、マージンベースの損失が報酬スコアの分布シフトに与える影響を評価しました。テストセットからの報酬スコアのヒストグラムを図27にプロットします。基本的に、マージン項は報酬を押し上げます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
However, the larger margin also regresses performance on similar samples.
We further evaluated the impact of margin-based loss on reward score distribution shifts. We plot the
histogramofrewardscoresfromthetestsetinFigure27. Essentially,themargintermpushesthereward
51
BatchNum. of
ComparisonsAvg. # Turns
per DialogueAvg. # Tokens
per ExampleAvg. # Tokens
in PromptAvg. # Tokens
in Response
1 5,561 4.4 547.1 25.2 159.3
2 17,072 4.0 554.6 22.4 170.7
3 30,146 3.9 603.3 19.6 195.5
4 36,206 3.9 652.8 45.3 182.9
5 49,375 3.7 603.9 46.7 163.1
6 57,746 4.1 654.5 28.2 198.1
7 84,388 3.9 662.2 27.5 210.0
8 95,235 3.6 670.4 32.9 212.1
9 127,235 3.6 674.9 31.3 214.8
10 136,729 3.7 723.9 30.5 230.2
11 136,868 3.8 811.9 32.2 251.1