在Bert和GPT模型出现之前，NLP领域的研究重点是深度学习模型，其中deep learning 以大量的改进LSTM模型和少量的改进CNN模型作为典型的特征提取技术。此外，Sequence to Sequence（也称为encoder-decoder）结合Attention则是各种具体任务的典型总体技术框架。

NLP领域加持上述核心技术，最终目标则是如何有效地增加模型层数或模型参数容量。换句话说，如何持续往encoder和decoder中添加更深层次的LSTM或CNN层次，以达到增加层数和模型容量的目的。然而，这种努力虽然成功实现了模型层数的不断增加，但从解决具体任务的角度来看，总体而言，它并不算非常成功。相对于非深度学习方法，其带来的优势并不太明显。

我认为深度学习在NLP领域的不太成功主要来源于两个方面：其一，在某些具体任务中，训练数据的量相对较小。随着模型容量的增加，需要更多的训练数据去支撑模型，否则即使你采用更多深度学习技术，也无法提高任务效果。在预训练模型出现之前，这是NLP领域重要的挑战。其二，LSTM／CNN特征提取技术表达能力不够强。即使你拥有大量的数据，也无法有效地吸收数据中蕴含的知识。这两个原因是深度学习在NLP领域取得突破性进展的障碍。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence