Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
トレーニングを長く行うと、過学習につながることがあります。ベースモデルと同じオプティマイザーパラメータを使用します。最大学習率は、70BパラメータL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scに対して5×10^(-6)、その他のパラメータに対して1×10^(-5)です。学習率はコサイン学習率スケジュールで減少し、最大学習率の10%まで下がります。ウォームアップは、合計ステップ数の3%で行い、最小値は5です。有効なバッチサイズは、512ペアまたは1バッチあたり1024行で固定されます。
Meta
Helpful.Meta
SafetyAnthropic
HelpfulAnthropic
HarmlessOpenAI
Summ.Stanford
SHPAvg
SteamSHP-XL 52.8 43.8 66.8 34.2 54.7 75.7 55.3
Open Assistant 53.8 53.4 67.7 68.4 71.7 55.0 63.0
GPT4 58.6 58.1 - - - - Safety RM 56.2 64.5 55.4 74.7 71.7 65.2 64.3
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
traininglongercanleadtoover-ﬁtting. Weusethesameoptimizerparametersasforthebasemodel. The
maximum learning rate is 5106for the 70B parameter L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc and1105for the rest. The
learningrateisdecreasedonacosinelearningrateschedule,downto10%ofthemaximumlearningrate.
We use a warm-up of 3% of the total number of steps, with a minimum of 5. The eﬀective batch size is kept
ﬁxed at 512 pairs, or 1024 rows per batch.
Meta
Helpful.Meta
SafetyAnthropic
HelpfulAnthropic
HarmlessOpenAI
Summ.Stanford
SHPAvg
SteamSHP-XL 52.8 43.8 66.8 34.2 54.7 75.7 55.3
Open Assistant 53.8 53.4 67.7 68.4 71.7 55.0 63.0
GPT4 58.6 58.1 - - - - Safety RM 56.2 64.5 55.4 74.7 71.7 65.2 64.3