Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
Table 4: 学術ベンチマークにおけるクローズドソースモデルとの比較。GPT-3.5およびGPT-4の結果はOpenAI（2023）から。PaLMモデルの結果はChowdheryら（2022）から。PaLM-2-Lの結果はAnilら（2023）から。
3 ファインチューニング
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scは、数ヶ月にわたる研究とアライメントテクニックの反復的な適用の結果であり、指導チューニングとRLHFの両方を含む、かなりの計算リソースと注釈リソースが必要とされます。
このセクションでは、監督されたファインチューニング（セクション3.1）および初期および反復的な報酬モデリング（セクション3.2.2）およびRLHF（セクション3.2.3）を使用した実験と結果について報告します。また、対話の流れを複数のターンで制御するのに役立つと考えられる新しいテクニック、Ghost Attention（GAtt）も共有します（セクション3.3）。ファインチューニングされたモデルの安全性評価についてはセクション4.2を参照してください。
3.1 監督されたファインチューニング（SFT）
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Table 4: Comparison to closed-source models on academic benchmarks. Results for GPT-3.5 and GPT-4
are from OpenAI (2023). Results for the PaLM model are from Chowdhery et al. (2022). Results for the
PaLM-2-L are from Anil et al. (2023).
3 Fine-tuning
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is the result of several months of research and iterative applications of alignment techniques,
including both instruction tuning and RLHF, requiring signiﬁcant computational and annotation resources.
In this section, we report on our experiments and ﬁndings using supervised ﬁne-tuning (Section 3.1), as
well as initial and iterative reward modeling (Section 3.2.2) and RLHF (Section 3.2.3). We also share a
new technique, Ghost Attention (GAtt), which we ﬁnd helps control dialogue ﬂow over multiple turns
(Section 3.3). See Section 4.2 for safety evaluations on ﬁne-tuned models.
8
3.1 Supervised Fine-Tuning (SFT)