生成人工知能のテキストデータセットの例とは？
生成人工知能または生成AIは、プロンプトに応答してテキスト、画像、または他のメディアを生成することができるAIシステムの一種である。生成AIシステムは、大規模な言語モデルなどの生成モデルを使用して、生成に使用された学習データセットに基づいて新しいデータを統計的にサンプリングする。

著名な生成AIシステムには、GPT-3およびGPT-4大規模言語モデルを使用してOpenAIによって構築されたチャットボットであるChatGPTや、LaMDAモデルを使用してGoogleによって構築されたチャットボットであるBardが含まれます。その他のジェネレーティブAIモデルには、Stable Diffusion、Midjourney、DALL-Eなどの人工知能アートシステムがある。

ジェネレーティブAIは、ソフトウェア開発、マーケティング、ファッションなど、幅広い業界に応用できる可能性を秘めている。ジェネレーティブAIへの投資は2020年代初頭に急増し、マイクロソフト、グーグル、バイドゥといった大企業だけでなく、数多くの中小企業がジェネレーティブAIモデルを開発している。

モダリティ
近未来的なオペラのシーンに登場する人物の詳細な油絵
ミッドジャーニーによって生成された画像「空間オペラ劇場
生成AIシステムは、教師なしまたは自己教師ありの機械学習をデータセットに適用することで構築される。生成AIシステムの能力は、使用するデータセットのモダリティやタイプによって異なる。

テキスト：単語または単語トークンで学習された生成AIシステムには、GPT-3、LaMDA、LLaMA、BLOOM、GPT-4などがある（大規模言語モデルのリストを参照）。これらは自然言語処理、機械翻訳、自然言語生成が可能で、他のタスクの基礎モデルとして使用できる。データセットにはBookCorpus、Wikipediaなどがある（テキストコーパスの一覧を参照）。
コード：自然言語テキストに加えて、大規模な言語モデルをプログラミング言語テキストで学習させ、新しいコンピュータプログラムのソースコードを生成することができる。OpenAI Codexなどがその例である。
画像：テキスト・キャプション付きの画像セットで学習させた生成AIシステムには、Imagen、DALL-E、Midjourney、Stable Diffusionなどがある（人工知能アート、生成アート、合成メディアを参照）。これらは、テキストから画像への生成やニューラル・スタイルの転送によく使われる。データセットにはLAION-5Bなどがある（コンピュータビジョンのデータセットを参照）。
分子：生成AIシステムは、アミノ酸の配列や、DNAやタンパク質を表すSMILESのような分子表現に対して学習させることができる。AlphaFoldのようなこれらのシステムは、タンパク質の構造予測や創薬に使用されている。データセットには様々な生物学的データセットが含まれる。
音楽：MusicLMのような生成AIシステムは、録音された音楽の音声波形をテキスト注釈とともに学習させることができ、「歪んだギターリフに裏打ちされた落ち着いたバイオリンの旋律」のようなテキスト記述に基づいて新しい音楽サンプルを生成することができる。
ビデオ注釈付きビデオで訓練された生成AIは、時間的にコヒーレントなビデオクリップを生成することができる。RunwayMLのGen1やMeta PlatformsのMake-A-Videoなどがその例だ。
マルチモーダル：ジェネレーティブAIシステムは、複数のジェネレーティブ・モデル、または複数のタイプのデータで訓練された1つのモデルから構築することができる。例えば、OpenAIのGPT-4の1つのバージョンは、テキストと画像の両方の入力を受け付ける。
生成人工知能のテキストデータセットの例 データセットには、BookCorpus、Wikipediaなどがある。