联合无监督词聚类的递归神经网络语言模型①-计算机系统应用.pdfVIP

2014 年 第 23 卷 第 5 期 计 算 机 系 统 应 用 联合无监督词聚类的递归神经网络语言模型① 刘 章, 陈小平 ( 中国科学技术大学 计算机科学与技术学院, 合肥 230027) 摘 要: 研究表明, 在递归神经网络语言模型的输入层加入词性标注信息, 可以显著提高模型的效果. 但使用 词性标注需要手工标注的数据训练, 耗费大量的人力物力, 并且额外的标注器增加了模型的复杂性. 为了解决上 述问题, 本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层. 实验显示, 在 Penn Treebank 语料上, 加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降 8~9%. 关键词: 递归神经网络; 词性标注; 布朗词聚类; 语言模型 Using Word Clustering to Improve Recurrent Neural Network Language Model LIU Zhang, CHEN Xiao-Ping (School of Computer Science and Technology, University of Science and Technology of China, Hefei 230027, China) Abstract: Previous studies proved that, adding part of speech tag information to the input layer of neural language model, can improve the performance significantly. But part of speech tag need hand-annotated data to train the tag model, which consumes a lot and the extra tagger also makes the model more complicated. To solve the problem, this article propose adding the results of brown clustering, instead of part of speech tag information to the input layer of the recurrent network language model. In the Penn Treebank corpus, the relative improvement over the original recurrent neural network language model reaches 8%~9%. Keywords: recurrent neural network language model; part of speech tag; brown clustering; language model 1 引言 它因此被视作一种具有深度架构的语言模型. 语言模型是语音识别、机器翻译、光学字符识别 神经网络语言模型输入层通常只使用词的本身作 等系统的关键组成部分. 这些系统在人类生产生活中 为输入. 然而实验表明, 添加词性标注信息到输入层, 发挥日益重要的作用, 因此提高语言模型的性能具有 可以有效的提高神经网络语言模型的效果. 这是由于 非常重要的意义. N-gram 是一种简单有效的语言模型, 词性标注带有语义上的信息, 可以使模型捕获更长距 在过去几十年实际应用中一直占有主导地位.