### Human: 論文「Attention is all you need」で初めてTransformerモデルを提案し、その後のLLMに大きな影響を与えた。この論文に書かれているTransformerの主なコアアイデアを教えてください。### Assistant: 本論文は、Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia.によるもので2017年に発表されました。その後のGPTシリーズモデルやBERTシリーズモデルの礎を築いた。GPTモデルはTransformerのデコーダー部分、BERTモデルはTransformerのエンコーダー部分を使用していますでござる。Transformerモデルの主なコアアーキテクチャは以下の通りです：自己保持機構、位置エンコード、エンコーダ-デコーダアーキテクチャ、マルチヘッドアテンション。
Transformerは、Attention機構を用いることで、従来のRNN/LSTMモデルの困難な並列問題を効果的に解決していますでござる。Self-Attentionを使うことで、NLPにおけるラベル付きデータが限られているという問題を解決していますでござる。入力テキストの配列情報は、Positional Encodingによって保存されますでござる。また、Multi-Head Attentionにより、TransformerはCNNモデルにおけるChannelの概念と同様に、訓練データの異なるパターンを学習することができますでござる。