基于LSTM-Attention的中文新闻文本分类.PDFVIP

37 3 ( ) Vol．37 No．3 第 卷第 期 中南民族大学学报 自然科学版 20 18 9 Journal of South-Central University for Nationalities (Nat．Sci．Edition) Sep．20 18 年 月 基于LSTM-Attention 的中文新闻文本分类 ， ， ， 蓝雯飞 徐 蔚 汪敦志 潘鹏程 ( ， 430074) 中南民族大学计算机科学学院 武汉 LSTM ， LSTM ， 摘 要 经典的 分类模型 一种是利用 最后时刻的输出作为高一级的表示 而另一种是将所有时刻的 LSTM ． ， ， 输出求平均作为高一级的表示 这两种表示都存在一定的缺陷 第一种缺失了前面的输出信息 另一种没有 ． ， Attention ， LSTM ， 体现每个时刻输出信息的不同重要程度 为了解决此问题 引入 机制 对 模型进行改进 设计了 LSTM-Attention ． :LSTM ， Attention 模型 实验结果表明 分类模型比传统的机器学习方法分类效果更好 而引入 机制后 LSTM ， ． 的 模型相比于经典的文本分类模型 分类效果也有了一定程度的提升 ; ; ; ; 关键词 自然语言处理 深度学习 文本分类 长短时记忆神经网络 注意力机制 中图分类号 TP 183 文献标识码 A 文章编号 1672-4321 (2018)03-0129-05 Text Classification of Chinese News Based on LSTM-Attention Lan Wenf ei ，Xu Wei ，Wang Dunzhi ，Pan Pengcheng (College of Computer Science ，South-Central University for Nationalities ，Wuhan 430074 ，China) Abstract A kind of the classical LSTM classification model uses the output at the last moment as the higher level representation ，while the other uses the average output at all times as the higher level representation． Both of these representations have some defects． The first one misses the previous output information ;the