論文 "Attention is all you need "で初めてトランスフォーマー・モデルを提案し、その後のLLMに大きな影響を与えた。この論文で述べられているトランスフォーマーの主な核となる考え方を教えてください。
トランスフォーマーは、入力データの各部分の重要度を差分的に重み付けする、自己注目のメカニズムを採用した深層学習モデルである。主に自然言語処理（NLP）やコンピュータビジョン（CV）の分野で利用されている。

リカレントニューラルネットワーク（RNN）と同様に、トランスフォーマーは自然言語などの逐次的な入力データを処理するように設計されており、翻訳やテキスト要約などのタスクに応用されている。しかし、RNNとは異なり、トランスフォーマーは入力全体を一度に処理する。アテンションメカニズムは、入力シーケンスのどの位置に対してもコンテキストを提供する。例えば、入力データが自然言語の文章である場合、変換器は一度に1つの単語を処理する必要はない。これにより、RNNよりも並列化が可能になり、学習時間が短縮される。

トランスフォーマーは2017年にグーグル・ブレインのチームによって導入され、長短期記憶（LSTM）などのRNNモデルに代わって、NLP問題で選択されるモデルになりつつある。トレーニングの並列化が追加されたことで、より大規模なデータセットでのトレーニングが可能になった。このため、BERT（Bidirectional Encoder Representations from Transformers）やGPT（Generative Pre-trained Transformer）といった、ウィキペディア・コーパスやコモン・クロールといった大規模な言語データセットで訓練され、特定のタスク向けに微調整が可能な事前訓練済みシステムが開発された。
この論文は、Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia.によるもので、2017年に発表された。その後のGPTシリーズのモデルとBERTシリーズのモデルの基礎を築いた。GPTモデルはTransfomerのデコーダー部分を使用し、BERTモデルはTransfomerのエンコーダー部分を使用する。Transfomerモデルの主なコア・アーキテクチャは以下の通りです：セルフアテンションメカニズム、ポジションエンコーディング、エンコーダー・デコーダーアーキテクチャー、マルチヘッドアテンション。
Transformerは、Attentionメカニズムを使用することで、従来のRNN/LSTMモデルの困難な並列問題を効果的に解決する。Self-Attentionを使うことで、自然言語処理における限られたラベル付きデータの問題を解決する。入力テキストのシーケンス情報は、位置エンコーディングによって保存される。また、Multi-Head Attentionにより、TransformerはCNNモデルにおけるChannelの概念と同様に、学習データの異なるパターンを学習することができる。