语言模型与向量表示综述.pptx

语言模型与向量表示自然语言处理：理论与实践

向量表示语言模型目录

语言模型概述

统计语言模型

n-gram模型

n-gram模型

神经网络语言模型-1Bengio团队提出前馈神经网络语言模型（FeedforwardNeuralNetworkLanguageModel，FNNLM）有效缓解数据稀疏问题

神经网络语言模型-2基于循环神经网络（RecurrentNeuralNetwork，RNN）的语言模型x为输入层，h为带有循环的隐含层，y为输出层解决了n-gram语言模型有限历史的问题但序列长度增加容易梯度消失和梯度爆炸，增加模型训练的难度

神经网络语言模型-3长短时记忆网络(LongShortTermMemroy,LSTM)?语言模型及其变种门控结构（gate）（下图直线箭头部分）:向单元状态添加或删除信息的能力，由一层以Sigmoid为激活函数的网络层和一个逐元素相乘操作构成（右图）遗忘门、输入门、输出门

神经网络语言模型-4基于注意力（Attention）的语言模型计算字符串中词语之间的注意力权重，有效避免循环神经网络中随着距离变长导致信息传递步骤增多的缺陷，并解决梯度消失和梯度爆炸等问题

向量表示语言模型目录

向量表示把词语等语言单位表示成向量，转换为机器可以理解的方式

符号化的离散表示One-HotRepresentation是最常用的