大規模言語モデルの正式な定義とは？
大規模言語モデルという用語に正式な定義はないが、数十億以上のパラメータ数を持つ深層学習モデルを指すことが多い。LLMは、ある特定のタスク（センチメント分析、名前付きエンティティ認識、数学的推論など）のために学習されるのとは対照的に、幅広いタスクを得意とする汎用モデルである。LLMがタスクを達成するスキルや、LLMが能力を発揮できるタスクの範囲は、設計のブレークスルーに依存しない形で、LLMに費やされるリソース（データ、パラメータサイズ、計算能力）の量の関数であるように思われる。

文中の次の単語を予測するという単純なタスクで訓練されたニューラル言語モデルは、十分な訓練とパラメータ数を持つことで、人間の言語のシンタックスとセマンティクスの多くを捉えることができる。さらに、大規模な言語モデルは、世界に関するかなりの一般知識を示し、訓練中に大量の事実を「記憶」することができる。
大規模言語モデル（LLM）という用語に正式な定義はない。しかし、数十億以上のパラメータ数を持つ深層学習モデルを指すことが多い。