Llama 2: オープンファンデーションとファインチューンされたチャットモデル
最小限のデータしか与えられなくても、その知識を時間的な方法で整理する堅牢な能力を持っています。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc に時間の概念を植え付けるために、特定の日付に関連する1,000のSFT例を収集しました。これらの例には、「Barack Obamaが大統領になってからどれくらい経ちましたか？」といった質問が含まれていました。それぞれの質問には、クエリが提示された日付（これが回答に影響を与える）と、質問が無意味になる以前の時点であるイベント日付の2つの重要なメタデータが関連付けられていました。
この観察から、LLMは、次のトークンの予測と、その年代順に無作為にシャッフルされたデータに基づくトレーニングであるにもかかわらず、以前に想定されていた以上に時間の概念を内面化していることが示唆されています。
ツールの使用の出現 LLMとツールの統合は、Mialonetal.(2023)で強調されているように、成長している研究分野です。Toolformer(Schicketal.,2023)で考案されたアプローチには、何百万ものサンプリングが含まれています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
robustcapabilitytoorganizeitsknowledgeinatemporalmanner,evenwhenprovidedwithminimaldata. To
instillaconceptoftimein L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc ,wecollectedasetof1,000SFTexamplesthatwererelatedtospeciﬁc
dates. Theseexamplesincludedquestionslike “Howlongago didBarackObama becomepresident?” Eachwas
associated with two critical pieces of metadata: the date when the query was posed — which inﬂuenced the
response — and the event date, a point in time prior to which the question would be nonsensical.
The observation suggests that LLMs have internalized the concept of time to a greater extent than previously
assumed,despitetheirtrainingbeingsolelybasedonnext-tokenpredictionanddatathatisrandomlyshuﬄed
without regard to their chronological context.
Tool Use Emergence The integration of LLMs with tools is a growing research area, as highlighted in
Mialonetal.(2023). TheapproachdevisedinToolformer(Schicketal.,2023)entailsthesamplingofmillions
33
Model ASDiv SVAMP MAWPS