Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
AIモデルを使用するすべての人が良い意図を持っているわけではないことを知っており、AIが世界に与える影響についての合理的な懸念があることを認めています。有害なコンテンツの生成や問題のある関連付けは、AIコミュニティがまだ完全に軽減していない重要なリスクです。この論文が示すように、これらのタイプの応答の普及を制限するために進展を遂げてきました。私たちはまだ行うべき作業があることを認識していますが、この認識はオープンサイエンスとAIコミュニティとの協力への私たちの取り組みをより深めるだけです。
6 関連する研究
大規模言語モデル。近年、LLMの分野で著しい進化が見られています。Kaplanらのスケーリング則に従い、100B以上のパラメータを持ついくつかの大規模言語モデルが提案されてきました。GPT-3（Brownら、2020）からGopher（Raeら、2022）や科学用のGalacticaなどの専門モデル（Taylorら、2022）までが含まれます。70Bのパラメータを持つChinchilla（Hoﬀmannら、2022）は、モデルの重みではなくトークンの数に対するスケーリング則を再定義しました。この進展の中で注目すべきは、推論中の計算効率に焦点を当てたLlamaの台頭です。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
We know that not everyone who uses AI models has good intentions, and we acknowledge that there
are reasonable concerns regarding the ways that AI will impact our world. Toxic content generation and
problematic associations are meaningful risks that the AI community has yet to fully mitigate. As this
paper illustrates, we have made strides in limiting the prevalence of these types of responses. While we
recognize there is more work to be done, this realization only deepens our commitment to open science and
collaboration with the AI community.
6 Related Work
Large Language Models. The recent years have witnessed a substantial evolution in the ﬁeld of LLMs.
Following the scaling laws of Kaplan et al. (2020), several Large Language Models with more than 100B
parameters have been proposed, from GPT-3 (Brown et al., 2020) to Gopher (Rae et al., 2022) or specialized
models, e.g. Galactica, for science(Taylor et al., 2022). With 70B parameters, Chinchilla (Hoﬀmann et al.,
2022) redeﬁned those scaling laws towards the number of tokens rather than model weights. Notable in
thisprogressionistheriseofLlama,recognizedforitsfocusoncomputationaleﬃciencyduringinference