ラマ2：オープンファンデーションと微調整されたチャットモデルは、コンテキストに応じて異なります。図8に示されているように、温度はRLHFに影響を受けているようです。しかし興味深いことに、私たちの調査結果は、シフトがすべてのプロンプトに均等に適用されていないことも明らかにしました（図21参照）。例えば、「詩を書く」といった創造性に関連するプロンプトの場合、温度の増加はRLHFのさまざまなイテレーションで多様性を生み出し続けます。これは、SFTモデルと同様のパターンを反映するSelf-BLEUの傾きで観察できます。一方で、「何の首都ですか？」などの事実情報に基づくプロンプトの場合、Self-BLEUの傾きは時間とともに減少します。このパターンから、上昇する温度にも関わらず、モデルは事実的なプロンプトに一貫して同じ応答を提供することを学んでいることが示唆されます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
uponthecontext. AsindicatedinFigure8,thetemperatureappearstobeinﬂuencedbyRLHF.Yet,intriguingly,
our ﬁndings also revealed that the shifts are not uniformly applied across all prompts, as shown in Figure 21.
Forinstance,whenitcomestopromptsassociatedwithcreativity,suchas“Writeapoem,”anincreasein
temperature continues to generate diversity across our various RLHF iterations. This can be observed in the
Self-BLEU slope, which mirrors a pattern comparable to that of the SFT model.
Ontheotherhand,forpromptsbasedonfactualinformation,suchas“Whatisthecapitalof?” theSelf-BLEU
slopediminishesovertime. Thispatternsuggeststhatdespitetherisingtemperature,themodellearnsto
consistently provide the same response to factual prompts.
32
0.4 0.6 0.8 1.0 1.2 1.4
T emperature6065707580859095100Self-BLEU
Factual Prompts
0.4 0.6 0.8 1.0 1.2 1.4
T emperature
Creative Prompts
RLHF v3
RLHF v2
RLHF v1