在Bert和GPT模型出现之前，NLP领域流行的技术是深度学习模型。NLP领域的深度学习主要依托于以下几项关键技术：大量改进的LSTM模型和少量改进的CNN模型作为典型的特征抽取器；Sequence to Sequence（也称为encoder-decoder）加Attention作为各种具体任务典型的总体技术框架。

在这些核心技术的支持下，NLP领域深度学习的主要研究目标，是如何有效增加模型层深或模型参数容量。也就是说，如何在encoder和decoder中不断叠加更深的LSTM或CNN层，以达到增加层深和模型容量的目标。尽管这种努力确实不断增加了模型层深，但从解决具体任务的效果来看，总体而言并不算很成功，或者说与非深度学习方法相比，所带来的优势并不大。

深度学习之所以不够成功，主要原因来自于两个方面：一方面是某个具体任务有限的训练数据总量。随着模型容量的增加，需要更多的训练数据来支撑，否则即使能够增加模型层深，任务效果也无法提升。而在预训练模型出现之前，这显然是NLP研究领域一个严重问题；另一方面是LSTM/CNN特征抽取器表达能力不够强。这意味着即使给再多的数据也没用，因为不能有效地吸收数据中蕴含的知识。主要是这两个原因阻碍了深度学习在NLP领域的成功突围。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence