带有覆盖率机制的文本摘要模型研究.pdf

计算机科学与探索 1673-9418/2019/ 13(02)-0205-09 Journal of Frontiers of Computer Science and Technology doi: 10.3778/j.issn. 1673-9418.1807049 带有覆盖率机制的文本摘要模型研究* 1 2 1+ 1 1 巩轶凡 ，刘红岩 ，何 军 ，岳永姣 ，杜小勇 1. 数据工程与知识工程教育部重点实验室（中国人民大学 信息学院），北京 100872 2. 清华大学 经济管理学院，北京 100084 + 通讯作者 E-mail: hejun@ 摘 要：近年来文本信息出现了爆炸式增长，人们没有足够的精力去阅读这些文本，因此如何自动地从文本中 提取关键信息就显得尤为重要，而文本摘要技术可以很好地解决这个问题。目前的文本摘要技术主要是利用 带有注意力（attention ）机制的序列到序列模型（sequence to sequence）对文本生成摘要，但是注意力机制在每 个时刻的计算是独立的，没有考虑到之前时刻生成的文本信息，导致模型在生成文本时忽略了之前生成的内 容，导致重复生成部分信息。针对这一问题，在文本摘要模型中引入了一种新的覆盖率（coverage ）机制，通过 覆盖向量记录历史时刻的注意力权重分布信息，并用来改变当前时刻注意力机制的权重分布，使模型更多地 关注没有利用到的信息。改进后的模型在新浪微博数据集上进行了实验，实验结果表明，基于新提出的覆盖 率机制的文本摘要模型的准确度高于普通的序列到序列模型。 关键词：文本摘要；深度学习；循环神经网络；覆盖率机制 文献标志码：A 中图分类号：TP399 巩轶凡, 刘红岩, 何军, 等. 带有覆盖率机制的文本摘要模型研究[J]. 计算机科学与探索, 2019, 13(2): 205-213. GONG Y F, LIU H Y, HE J, et al. Research on text summarization model with coverage mechanism[J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(2): 205-213. Research on Text Summarization Model with Coverage Mechanism 索 1 2 1+ 1 1 GONG Yifan , LIU Hongyan , HE Jun , YUE Yongjiao , DU Xiaoyong 探 1. Key Laboratory of Data Engineering and Knowledge Engineering (School of Information, Renmin University of 与 China), Ministry of Education, Beijing 100872, China 2. School of Economics and Management, Tsinghua University, Beijing 100084, China 学 g 科 r Abstract: In recent years, text information has experienced explosive growth, and people haven t enough time to o