NLP领域中深度神经网络的代表性进展.docxVIP

NLP领域中深度神经网络的代表性进展

1.引言

深度学习（DeepLearning）自2012年AlexNet在计算机视觉上的成功后，迅速渗透到自然语言处理（NLP）。

通过多层非线性变换、大规模参数以及数据驱动的训练，深度神经网络（DNN）在文本表示、序列建模和迁移学习等任务上实现了突破。

2.时间线概览

时间

关键里程碑

主要技术/模型

影响

2013?2015

RNN系列的突破

LSTM/GRU

解决长序列梯度消失问题，实现机器翻译、语音识别等任务的显著提升

2016?2017

CNN在文本中的应用

TextCNN,RCNN

对短文本分类、句子匹配等任务提供局部特