Llama 2: オープンファウンデーションとファインチューニングされたチャットモデル
Laurens van der Maaten、Jason Weston、およびOmer Levy。
A.2 プリトレーニングの追加詳細
A.2.1 L/l.sc/a.sc/m.sc/a.sc/one.taboldstyleとのアーキテクチャの変更
コンテキスト長。L/l.sc/a.sc/m.sc/a.sc/two.taboldstyleのコンテキストウィンドウを2048トークンから4096トークンに拡張します。より長いコンテキストウィンドウは、モデルがより多くの情報を処理できるようにし、特にチャットアプリケーションの長い履歴、さまざまな要約タスク、およびより長いドキュメントの理解をサポートするのに役立ちます。
表16は、2kおよび4kのコンテキストプリトレーニングの長いコンテキストベンチマークでのパフォーマンスを比較しています。両方のモデルは、同じアーキテクチャとハイパーパラメータをベースラインとして保ち、コンテキストの長さのみを変化させて、150Bトークンでトレーニングされます。私たちは、SCROLLS（Shahametal.、2022）で改善を観察し、平均入力長が3.5kであり、SQUAD（Rajpurkaretal.、2018）ではパフォーマンスの低下が見られません。表17は、より長いコンテキストモデルがさまざまな汎用タスクで強力なパフォーマンスを維持していることを示しています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Laurens van der Maaten, Jason Weston, and Omer Levy.
A.2 Additional Details for Pretraining
A.2.1 Architecture Changes Compared to L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle
Context Length. We expand the context window for L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle from 2048 tokens to 4096 tokens. The longer
contextwindowenablesmodelstoprocessmoreinformation,whichisparticularlyusefulforsupporting
longerhistoriesinchatapplications,varioussummarizationtasks,andunderstandinglongerdocuments.
Table 16 compares the performance of 2k and 4k context pretraining on long-context benchmarks. Both
modelsaretrainedfor150Btokens,keepingthesamearchitectureandhyperparametersasabaseline,varying
onlythecontextlength. WeobserveimprovementonSCROLLS(Shahametal.,2022),wheretheaverage
inputlengthis3.5k,andnoperformancedegradationonSQUAD(Rajpurkaretal.,2018). Table17shows
that the longer context model retains strong performance on various general-purpose tasks.