Llama 2: オープンファンデーションとファインチューンされたチャットモデル
アラン・シェルテン、ルアン・シルバ、エリック・マイケル・スミス、ランジャン・スブラマニアン、シャオチン・エレン・タン、ビン・タン、ロス・テイラー、アディナ・ウィリアムズ、ジャン・シアン、クアン・プシン・シュウ、イリヤン・ザロフ、ユーチェン・チャン、アンジェラ・ファン、メラニー・カンバドゥール、シャラン・ナラン、オレリアン・ロドリゲス、ロバート・ストイニック、セルゲイ・エドゥノフ、トーマス・シャロム
GenAI、Meta
要約
本研究では、7億から700億のパラメータを持つ事前学習およびファインチューニングされた大規模言語モデル（LLM）のコレクションであるLlama 2を開発およびリリースします。弊社のファインチューニングされたLLMであるL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scは、対話の使用事例に最適化されています。弊社のモデルは、多くのベンチマークテストでオープンソースのチャットモデルを上回り、私たちの有用性と安全性に関する人間の評価に基づいて、クローズドソースのモデルの代替として適しているかもしれません。ファインチューニングおよび安全性に対するアプローチの詳細な説明を提供します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Alan Schelten Ruan Silva Eric Michael Smith Ranjan Subramanian Xiaoqing Ellen Tan Binh Tang
Ross Taylor Adina Williams Jian Xiang Kuan Puxin Xu Zheng Yan Iliyan Zarov Yuchen Zhang
Angela Fan Melanie Kambadur Sharan Narang Aurelien Rodriguez Robert Stojnic
Sergey Edunov Thomas Scialom
GenAI, Meta
Abstract
In this work, we develop and release Llama 2, a collection of pretrained and ﬁne-tuned
large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters.
Our ﬁne-tuned LLMs, called L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , are optimized for dialogue use cases. Our
models outperform open-source chat models on most benchmarks we tested, and based on
ourhumanevaluationsforhelpfulnessandsafety,maybeasuitablesubstituteforclosedsource models. We provide a detailed description of our approach to ﬁne-tuning and safety