Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
この進展は、推論中の計算効率に焦点を当てたことで認識されているLlamaの台頭である（Touvron et al.、2023）。同時に、オープンソースとクローズドソースモデルの動向についての並行した議論が展開されてきた。BLOOM（Scao et al.、2022）、OPT（Zhang et al.、2022）、およびFalcon（Penedo et al.、2023）などのオープンソースのリリースが、GPT-3やChinchillaなどのクローズドソースの対抗馬に挑戦してきた。
§§https://ai.meta.com/llama
35
しかし、「本番向け」のChatGPT、Bard、およびClaudeなどのLLMには、性能と使いやすさにおいて著しい違いがある。これらのモデルは、人間の好みに合わせるために入念な調整技術に依存しており（Gudibande et al.、2023）、このプロセスはまだオープンソースコミュニティ内で探求および改良されている。
このギャップを埋める試みとして、Vicuna（Chiang et al.、2023）やAlpaca（Taori et al.、2023）などの蒸留ベースのモデルが登場し、合成指示によるトレーニングに独自のアプローチを採用している（Honovich et al.、2023）。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
thisprogressionistheriseofLlama,recognizedforitsfocusoncomputationaleﬃciencyduringinference
(Touvron et al., 2023). A parallel discourse has unfolded around the dynamics of open-source versus closedsourcemodels. Open-sourcereleaseslikeBLOOM(Scaoetal.,2022),OPT(Zhangetal.,2022),andFalcon
(Penedo et al., 2023) have risen to challenge their closed-source counterparts like GPT-3 and Chinchilla.
§§https://ai.meta.com/llama
35
Yet,whenitcomestothe"production-ready"LLMssuchasChatGPT,Bard,andClaude,there’samarked
distinction in performance and usability. These models rely on intricate tuning techniques to align with
human preferences (Gudibande et al., 2023), a process that is still being explored and reﬁned within the
open-source community.
Attempts to close this gap have emerged, with distillation-based models such as Vicuna (Chiang et al., 2023)
andAlpaca(Taorietal.,2023)adoptingauniqueapproachtotrainingwithsyntheticinstructions(Honovich