Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
私たちは、コンテキストと生成長を1000トークンに制限して、オープンソースモデルとの公平な比較を提供します。 1000トークンに生成長を制限することは、L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scモデルに悪影響を与える可能性があります。 1000トークンより長いプロンプトは、オープンソースモデルとの評価のためにフィルタリングされます。 MPTモデルでは、mpt-7b-chatモデルを使用します。 Falconモデルでは、Falcon-40B-Instructモデルを使用します。 Vicunaモデルでは、lmsysからvicuna-13b-delta-v1.1およびvicuna-33b-delta-v1.3モデルを使用します。すべてのモデルの重みはHuggingFaceから取得しました。
クローズドソースモデルはより長いコンテキスト長を持っているため、これらのモデルに対してコンテキスト長と生成長を2000トークンに変更します。 クローズドソースモデルとの評価のために、2000のコンテキストと生成長で別の生成セットを収集します。
生成を収集する際に、評価のためにシステムプロンプトをプロンプトの前に追加します。 各モデルのシステムプロンプトは表31に示されています。 ChatGPT、PaLM、Falconはシステムを提供しないため、
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
we limit the context and generation length to 1000 tokens to provide a fair comparison with the open-source
models. Limiting the generation length to 1000 tokens may adversely aﬀect the L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc models. Any
promptsthatarelongerthan1000tokensareﬁlteredoutforevaluationswithopensourcedmodels. ForMPT
models,weusethe mpt-7b-chat model . ForFalconmodels,weusethe Falcon-40B-Instruct modelwhich
is a chat/instruct model. For Vicuna models, we use vicuna-13b-delta-v1.1 andvicuna-33b-delta-v1.3
models from lmsys. All model weights were obtained from HuggingFace.
Since closed-source models have longer context lengths, we change the context length and generation length
to 2000 tokens for these models. To evaluate with closed source models, we collect another set of generations
with 2000 context and generation length.
Whilecollectinggenerations,weappendasystempromptpriortothepromptforevaluation. Thesystem
prompt for each model is shown in Table 31. Since ChatGPT, PaLM, and Falcon do not provide a system