基于卷积神经网络的自适应权重multi-gram语句建模系统.pdf

第44卷 第 1期 计 算 机 科 学 Vo1．44No．1 2017年 1月 COMPUTER SCIENCE Jan．2017 基于卷积神经网络的自适应权重重 mmuullttii-ggr：am语1=旨句，日J娌建模俣系糸统z允 张春云 秦鹏达 尹义龙。 (山东财经大学计算机科学与技术学院 济南250014) (北京邮电大学信息与通信工程学院 北京 100876)。 (山东大学计算机科学与技术学院 济南25O101)。 摘 要 如今信息量呈爆炸式增长，自然语言处理得到了越来越广泛的重视。传统的自然语言处理系统过多地依赖 昂贵的人工标注特征和语言分析工具的语法信息，导致预处理中语法信息的错误传递到系统训练和预测过程中。因 此，深度学习的应用受到了学者们的关注。因为它能实现端对端预测并尽可能少地依赖外部信息。自然语言处理领 域流行的深度学习框架为了更好地获取句子信息，采用multi-gram策略。但不同任务和不同数据集的信息分布状况 不尽相同，而且这种策略并没有考虑到不同n-gram的重要性分布。针对该 问题，提 出了一种基于深度学习的 自适应 学习multi-gram权重的策略，从而根据各n-gram特征的贡献为其分配相应的权重；并且还提 出了一种新的 multi- gram特征向量结合方法，大大降低 了系统复杂度。将该模型应用到电影评论正负倾向判断和关系分类两种分类任务 中，实验结果证明采用的自适应multi-gram权重策略能够大大改善模型的分类效果。 关键词 深度学习，自然语言处理，自适应权重，multi-gram 中图法分类号 TP391．1 文献标识码 A DOI 10．11896／j．issn．1002—137)(．2017．01．011 Self-adaptationM ulti-gram W eightLearningStrategyforSentenceRepresentation BasedonConvolutionalNeuralNetwork ZHANG Chun-yun QIN Peng-da。 YINYi-longa (cshoolofComputerScienceandTechnology，ShandongUniversityofFinanceandEconomics，Jinan250014，China) (SchoolofInformationandCommunicationEngineering．BeijingUniversityofPostsandTelecommunications，Beijing100876，China) (SchoolofCo mputerScienceandTechnology，ShandongUniversity，Jinan250101，China)。 Abstract Nowadays，withtheexplosivegrowthoftheinformation，naturelanguageprocessinghasbeenpaidmoreat— tention．Thetraditionalnaturelanguageprocessingsystemsareoverlydependentontheexpensivehandcraftedfeatures annotatedbyexpertsandsynatxinfomr ationoflanguageanalysistools．Deepneuralnetworkcanachieveend-to-end learningevenwithoutcostlyfeatures．Inordertoextractmoreinformationfrom inputsentences，mostneuralnetwork