在Bert和GPT模型出现之前,自然语言处理领域流行的技术主要是深度学习模型。自然语言处理领域的深度学习主要依赖于以下几项关键技术:大量改进的长短期记忆(LSTM)模型和少量改进的卷积神经网络(CNN)模型,作为特征提取的典型手段;序列到序列(Sequence to Sequence,又称编码器-解码器)模型+注意力机制(Attention)是各种具体任务的典型整体技术框架。
在这些核心技术的支持下,自然语言处理领域深度学习的主要研究目标,归纳起来就是如何有效增加模型的层深或参数容量。也就是说,如何不断在编码器和解码器中叠加更深的LSTM或CNN层,以达到增加层深和模型容量的目标。这种努力虽然确实不断增加了模型的层深,但是从解决具体任务的效果来看,总体而言,与非深度学习方法相比,带来的优势不算很大。
深度学习之所以不够成功,我认为主要原因来自两个方面:一方面是某个具体任务有限的训练数据总量。随着模型容量的增加,需要更大量的数据进行支撑,否则即使增加层深,任务效果也难以提高。在预训练模型出现之前,这显然是自然语言处理研究领域一个严重的问题。另一方面是LSTM/CNN特征提取器的表达能力不足。也就是说,即便提供再多的数据也无济于事,因为无法有效地吸收数据中蕴含的知识。我认为,主要是这两个原因阻碍了深度学习在自然语言处理领域的成功突破。
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence