2017 年發表的里程碑意義的論文（“Attention is All You Need”）描述了一種用於自然語言理解的新神經網絡架構，這種架構名為 Transformer，它可以生成高質量的語言模型，同時更具可並行性，並且需要更少的訓練時間。
2017 年發表的里程碑意義的論文（“Attention is All You Need”）描述了一種用於自然語言理解的新神經網絡架構，這種架構名為 Transformer，它可以生成高質量的語言模型，同時更具可並行性，並且需要更少的訓練時間。這些模型是 few-shot learners 的，因此可以相對容易地針對特定領域進行定制。