基于LSTM网络的序列标注中文分词法.pdfVIP

第34卷第5期 计算机应用研究 V01．34No．5 Researchof 2017 2017年5月 Application Computers May 基于LSTM网络的序列标注中文分词法 任智慧1’2，徐浩煜2’3+，封松林2…，周晗2，施俊1 大学，北京100049) 摘要：-3前主流的中文分词方法是基于字标注的传统机器学习方法，但传统机器学习方法需要人为地从中文 文本中配置并提取特征，存在词库维度高且利用CPU训练模型时间长的缺点。针对以上问题进行了研究，提出 short—term 基于LSTM(10ngmemory)网络模型的改进方法，采用不同词位标注集并加入预先训练的字嵌入向量 (character 型的方法能得到比当前传统机器学习方法更好的性能；采用六词位标注并加入预先训练的字嵌入向量能够取得 相对最好的分词性能；而且利用GPU可以大大缩短深度神经网络模型的训练时间；LSTM网络模型的方法也更 容易推广并应用到其他自然语言处理中序列标注的任务。 关键词：中文分词；LSTM；字嵌入；自然语言处理 文献标志码：A 中图分类号：TP391．1 文章编号：1001．3695(2017)05—1321-04 doi：10．3969／j．issn．1001-3695．2017．05．009 Chineseword methodbasedonLSTMnetworks Sequencelabeling segmentation Ren Junl Zhihuil”，Xu Han2，Shi Haoyu2’计，FengSonglin2”，Zhou AdvancedResearchIn。 (1．SchoolofCommunication＆Information 200444，China；2．Shanghai Engineering，ShanghaiUniversit)，Shanghai 100049，China) stitute，Chinese AcademyofSciences，Beijing Academ，’ofSciences，Shanghai201210，China；3．Universi0ofChinese for word arebasedoncharacter dominantstate—of-the-artmethodsChinese Abstract：Currently，the segmentation tagging methods traditionalmachine aresome inthetraditionalmachine technology．Ho