基于深度学习的中文自动摘要方法研究.pdfVIP

摘要

随着互联网技术的持续演进，文本信息数量呈现指数级增长，筛选和阅读这

些浩瀚的信息资源变得耗时耗力。现今，迅速地从众多文本中筛选出重要信息并

有效利用，成为了一个待解决的紧迫课题。在这种需求推动下，自动化文本摘要

技术开始显现其重要性。这项技术能够助力用户迅速把握大量文本的核心要义，

显著降低信息处理和阅读的复杂性，因而被视为自然语言处理领域的一项关键

技术。尽管如此，该技术仍面临诸多挑战，如关键信息的提取不足，摘要与原文

主旨大意重合度低，以及在处理文本时信息遗漏和句子不连贯等问题。鉴于此，

对现行文本摘要技术进行深入研究并寻求改进，显得尤为重要。本文的主要研究

内容如下：

（1）为了增强Informer模型在处理主题信息时的能力，本文基于经典的注意

力机制，加入了主题信息。首先通过LDA（LatentDirichletAllocation）主题模型

来识别文本中的主题词分布，并据此建立一个主题相似性矩阵。接着，利用这个

主题相似矩阵优化注意力权重，让模型掌握文本中词汇的主题关联性，进而生成

包含鲜明主题信息的摘要。此外，本文还采用了指针网络机制，实现了从原文中

直接复制非词典词汇到摘要中，提高摘要生成的稳定性。经过对比实验数据表明，

经过优化的Informer模型在ROUGE评价指标方面的表现超过了基线模型，验证

了模型的有效性。

（2）为了克服自动摘要生成中Informer模型由于训练反馈不充分而遇到的

困难，本文首先采用ERNIE获取动态的词向量表示，提高了词向量所蕴含的信息。

然后设计了一个基于强化学习策略的自动摘要模型。利用强化学习中的自批判

策略梯度算法提升模型生成摘要的质量。将生成摘要ROUGE评分和与参考摘要

的语义相似性作为模型训练的奖励反馈到模型训练当中，最后在标准数据集上

进行实验，实验结果证实了基于强化学习策略梯度的方法能有效提升生成式摘

要的表现。

关键词：深度学习；自动摘要；Informer；强化学习；注意力机制

Abstract

WiththecontinuousevolutionofInternettechnology,theamountoftext

informationhasgrownexponentially,andscreeningandreadingthesevastinformation

resourceshasbecometime-consumingandlaborious.Nowadays,quicklyfiltering

importantinformationfromnumeroustextsandeffectivelyutilizingithasbecomean

urgentissuetobesolved.Drivenbythisdemand,automatedtextsummarization

technologyhasbeguntodemonstrateitsimportance.Thistechnologycanhelpusers

quicklygraspthecoreessenceofalargeamountoftext,significantlyreducingthe

complexityofinformationprocessingandreading,andisthereforeconsideredakey

technologyinthefieldofnaturallanguageprocessing.However,thistechnologystill

facesmanychallenges,suchasinsufficientextractionofkeyinformation,lowoverlap

betweentheabstractandthemainideaoftheoriginaltext,andissuessuchas

informationomissionandsentenceincoherence