Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
asChatGPT、BARD、およびClaude。これらのクローズドプロダクトLLMは、人間の好みに合わせて大幅にファインチューンされており、それによりその利便性と安全性が大幅に向上しています。このステップには、計算と人間の注釈にかなりのコストがかかることがあり、進歩を制限し、AIのアライメント研究を進めるコミュニティ内で進展を制限することがあります。
この作業では、70Bパラメータまでスケールされた事前学習およびファインチューンされたLLM、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyleおよびL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scのファミリーであるLlama 2を開発およびリリースします。私たちがテストした有益性と安全性のベンチマークシリーズでは、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scモデルは一般的に既存のオープンソースモデルよりも優れたパフォーマンスを発揮します。また、私たちが行った人間の評価では、少なくとも一部のクローズドソースモデルと同等のように見えます（詳細は以下を参照）
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
asChatGPT,BARD,andClaude. TheseclosedproductLLMsareheavilyﬁne-tunedtoalignwithhuman
preferences, which greatly enhances their usability and safety. This step can require signiﬁcant costs in
computeandhumanannotation,andisoftennottransparentoreasilyreproducible,limitingprogresswithin
the community to advance AI alignment research.
In this work, we develop and release Llama 2, a family of pretrained and ﬁne-tuned LLMs, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle and
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc , at scales up to 70B parameters. On the series of helpfulness and safety benchmarks we tested,
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc models generally perform better than existing open-source models. They also appear to
be on par with some of the closed-source models, at least on the human evaluations we performed (see