ラマ2：オープンファウンデーションとファインチューンされたチャットモデル
inTable30。GAttを備えたL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、常に定義された属性を参照し、最大20ターン（私たちは人間の評価をさらに延長しませんでした。すべての例が合計4048トークン未満でした）にわたって100％の精度を維持します。比較として、GAttなしのL/l.sc/a.sc/m.sc/a.sc/two.taboldstyle-C/h.sc/a.sc/t.scは、わずか数ターン後に属性を参照できなくなります：t+1で100％からt+3で10％、そして0％になります。
GAttゼロショット汎化。推論時に、GAttのトレーニングには存在しない制約を設定してみました。例えば、「1つの文で回答する」というものです。この場合、モデルは一貫したままであり、図28で示されています。
まず、2048トークンのコンテキスト長で事前学習されたL/l.sc/a.sc/m.sc/a.sc/one.taboldstyleにGAttを適用しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
inTable30. EquippedwithGAtt, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc maintains100%accuracy,alwaysreferringtothedeﬁned
attribute,andso,upto20turns(wedidnotextendthehumanevaluationmore,andalltheexampleshad
lessthan4048tokensintotalovertheturns). Asacomparison, L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc withoutGAttcannotanymore
refer to the attributes after only few turns: from 100% at turn t+1, to 10% at turn t+3 and then 0%.
GAtt Zero-shot Generalisation. We tried at inference time to set constrain not present in the training of
GAtt. For instance, “answer in one sentence only”, for which the model remained consistent, as illustrated in
Figure 28.
We applied ﬁrst GAtt to L/l.sc/a.sc/m.sc/a.sc /one.taboldstyle , which was pretrained with a context length of 2048 tokens and then