ラマ2：オープンファウンデーションとファインチューンドチャットモデル
33
モデル ASDiv SVAMP MAWPS
OPT-66B 6.0 4.9 7.9
GPT-J 7.5 5.2 9.9
GPT-J + CC 9.6 5.0 9.3
GPT-3 14.0 10.0 19.8
Toolformer 40.4 29.4 44.0
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 67.1 69.2 82.4
表15：ツール使用時のパフォーマンス。Toolformerで使用された数学データセットの評価。異なるベースラインについて、Schick et al.（2023）のスコアを報告します。
軌道の数によるツールの使用、および各ツールのフューショット例の形成によって補完されます。ただし、この技術は、例ごとに1つのツールのみを使用して適用され、ツールの連続的な使用にはスケーリングされませんでした。
図23：ツールの使用の出現。L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scは、ツールの応用とAPI引数を意味論だけで理解し、ツールの使用のためにトレーニングされたことがないにもかかわらず、それを実現します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
33
Model ASDiv SVAMP MAWPS
OPT-66B 6.0 4.9 7.9
GPT-J 7.5 5.2 9.9
GPT-J + CC 9.6 5.0 9.3
GPT-3 14.0 10.0 19.8
Toolformer 40.4 29.4 44.0
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 67.1 69.2 82.4
Table 15: Performance with tool use. Evaluation on the math datasets used in Toolformer. For diﬀerent
baselines, we report the scores from Schick et al. (2023).
of trajectories, complemented by the formulation of few-shot examples for each tool. Nonetheless, this
techniquewasonlyappliedusingasingletoolperexample,andwouldnotscaleforasequenceoftoolusage.
Figure 23: Tool use emergence. L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc is able to understand the tools’s applications, and the API
arguments, just through the semantics, despite never having been trained to use tools.