基于卷积神经网络的自适应权重multi-gram 语旬建模系统 - 计算机科学.pdf

第 44 卷第1 期 Vo l. 44 No. 1 计算机科学 2017 年 1 月 COMPUTER SCIENCE Ja口.2017 基于卷积神经网络的自适应权重 multi-gram 语旬建模系统 张春云1 秦鹏达2 尹义龙3 (山东财经大学计算机科学与技术学院 济南 250014)1 (北京邮电大学信息与通信工程学院 北京 100876)2 (山东大学计算机科学与技术学院 济南 250101) 3 摘 要 如今信息量呈爆炸式增长，自然语言处理得到了越来越广泛的重视。传统的自然语言处理系统过多地依赖 昂贵的人工标注特征和语言分析工具的语法信息，导致预处理中语法信息的错误传递到系统训练和预测过程中。因 此，深度学习的应用受到了学者们的关注。因为它能实现端对端预测并尽可能少地依赖外部信息。自然语言处理领 域流行的深度学习框架为了更好地获取句子信息，采用 multi-gram 策略。但不同任务和不同数据集的信息分布状况 不尽相同，而且这种策略并没有考虑到不同 n-gram 的重要性分布。针对该问题，提出了一种基于深度学习的自适应 学习 multi-gram 权重的策略，从而根据各 n-gram 特征的贡献为其分自己相应的权重;并且还提出了一种新的 multi gram 特征向量结合方法，大大降低了系统复杂度。将该模型应用到电影评论正负倾向判断和关系分类两种分类任务 中，实验结果证明采用的自适应 multi-gram 权重策略能够大大改善模型的分类效果。 关键i司 深度学习，自然语言处理，自适应权重，multi-gram 中图法分类号 TP39 1. 1 文献标识码 A 001 10. 11896/j. issn. 1002-137瓦 2017. 0 1. 011 Self-adaptation Multi-gram Weight Learning Strategy for Sentence Representation ßased on Convolutional Neural Network ZHANG Chun-yun QIN Peng-da2 YIN Yi-long3 (School of Computer Science and Technology ,Shandong University of Finance and Economics ,Jinan 250014 ,China) , (School of Informatio且 and Communication Engineering.Beijing University of Posts and Telecommunications ,Beijing 100876.China)2 CSchool of Computer Science and Technology.Shandong University.Jinan 25010 1,China) 3 Al阳tract Nowadays ,with the explosive growth of the information ,nature language processing has been paid more at- tentiolL Th巳 traditional 口