У статті "Увага - це все, що вам потрібно" вперше запропонована модель Трансформера, яка мала глибокий вплив на подальший LLM. Будь ласка, дайте основну основну ідею Transformer, описану в цій статті
Трансформатор - це модель глибокого навчання, яка використовує механізм самооцінки, диференціально зважуючи значення кожної частини вхідних даних. Він використовується в основному в галузі обробки природної мови (NLP) і комп'ютерного зору (CV).

Як і повторювані нейронні мережі (РНН), трансформатори призначені для обробки послідовних вхідних даних, таких як природна мова, з додатками до завдань, таких як переклад і резюме тексту. Однак, на відміну від RNN, трансформатори обробляють весь вхід одночасно. Механізм уваги забезпечує контекст для будь-якої позиції в вхідній послідовності. Наприклад, якщо вхідні дані є природним мовним реченням, трансформатору не потрібно обробляти одне слово за раз. Це дозволяє більше паралелізації, ніж RNN, і, отже, скорочує час навчання.

Трансформери були представлені в 2017 році командою Google Brain і все частіше стають моделлю вибору для проблем НЛП, замінюючи моделі RNN, такі як довга короткострокова пам'ять (LSTM). Додаткова паралелізація навчання дозволяє тренуватися на більших наборах даних. Це призвело до розробки попередньо підготовлених систем, таких як BERT (Bidirectional Encoder Representations from Transformers) і GPT (Generative Pre-Trained Transformer), які були підготовлені з великими мовними наборами даних, такими як Wikipedia Corpus і Common Crawl, і можуть бути тонко налаштовані для конкретних завдань.
Цю статтю написали Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. Опубліковано у 2017 році. Вона заклала основу для наступної серії моделей GPT і серії моделей BERT. Модель GPT використовує декодерну частину Transfomer, тоді як модель BERT використовує декодерну частину Transfomer. Основна архітектура моделі трансформатора включає в себе: Механізм самооцінки, Позиційне кодування, архітектуру кодування-декодування, мультиголовну увагу.
Трансформер ефективно вирішує складну паралельну проблему попередньої моделі RNN/LSTM за допомогою механізму Attention. Використання Self-Attention вирішує проблему обмежених позначених даних в НЛП. Інформація про послідовність у вхідному тексті зберігається за допомогою позиційного кодування. А Multi-Head Attention дозволяє Transformer вивчати різні закономірності даних навчання, подібні до концепції Channel в моделі CNN.