Llama 2: オープンファンデーションと微調整されたチャットモデル
温度
創造的なプロンプト
RLHF v3
RLHF v2
RLHF v1
SFTFigure 21: RLHFはプロンプトの種類に応じて温度を適応することを学びます。低いSelf-BLEUはより多様性を示します：RLHFは事実に関するプロンプトへの応答で多様性を排除しますが、創造的なプロンプトへの応答を生成する際にはより多様性を保持します。各モデルに多様な10の創造的な指示と10の事実に基づく指示を与え、25の応答をサンプリングします。これは温度T2fk=10jk2N: 1k15gに対して繰り返されます。25の応答ごとにSelf-BLEUメトリックを計算し、温度に対する平均値と標準偏差を報告します。
Figure 22: 時間の認識 — 1,000のSFT時間に焦点を当てたデータを用いて、我々のモデルが時間の概念を一般化する様子を示した図。
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 時間的認識 我々のモデルは、図22に示されているように、印象的な一般化能力を示しました。数十の例を手動でテストし、わずかなデータしか提供されなくても、我々のモデルが知識を時間的に整理する堅牢な能力を一貫して示すことを観察しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
T emperature
Creative Prompts
RLHF v3
RLHF v2
RLHF v1
SFTFigure 21: RLHF learns to adapt the temperature with regard to the type of prompt. Lower Self-BLEU
corresponds to more diversity: RLHF eliminates diversity in responses to factual prompts but retains more
diversity when generating responses to creative prompts. We prompt each model with a diverse set of
10 creative and 10 factual instructions and sample 25 responses. This is repeated for the temperatures
T2fk=10jk2N: 1k15g. For each of the 25 responses we compute the Self-BLEU metric and report
the mean and standard deviation against the temperature.
Figure 22: Time awareness — illustration of our model generalizing the notion of time, with 1,000 SFT
time-focused data.
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc Temporal Perception Our model showcased impressive generalization ability, as shown in
Figure 22. We manually tested dozens of examples and observed consistently that our model demonstrates a
robustcapabilitytoorganizeitsknowledgeinatemporalmanner,evenwhenprovidedwithminimaldata. To