Dnešní nejlepší AI model – GPT od OpenAI patří mezi transformery.
Ian Goodfellow a jeho tým představili koncept generativních sítí, což vedlo k novým způsobům generování obrázků, hudby a textu, které byly téměř nerozlišitelné od skutečných, vytvořených lidmi. Výzkumníci z Google představili architekturu transformeru, která využívá mechanismus pozornosti k interpretaci dat, což vedlo k průlomům v oblasti zpracování přirozeného jazyka, zejména s modelem jako je BERT. Dnešní nejlepší AI model – GPT od OpenAI patří mezi transformery.