融合RNN与稀疏自注意力的文本摘要方法.pdfVIP

研究论文第51卷第1期/2025年1月/计算机工程

融合RNN与稀疏自注意力的文本摘要方法

刘钟1-2,唐宏1-2,王宁喆1-2,朱传润1,2

（1.重庆邮电大学通信与信息工程学院，重庆400065；2.重庆邮电大学移动通信技术重庆市重点实验室，重庆400065）

摘要：随着深度学习的高速发展，基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点，但现有大多数

文本摘要模型受限于长期依赖，忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响，生成的摘要丢失

关键信息，偏离原文内容与意图，影响用户体验。为了解决上述问题，提出一种基于Transformer改进的融合递归

神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输人文本按窗口划分，每个RNN

对窗口内词序信息进行压缩，并通过窗口级别的表示整合为整个文本的表示，进而增强模型捕获局部依赖的能

力；其次采用基于递归循环机制的缓存模块，循环缓存上一文本片段的信息到当前片段，允许模型更好地捕获长

期依赖和全局信息；最后采用稀疏自注意力模块，通过块稀疏矩阵对注意力矩阵按块划分，关注并筛选出重要令

牌对，而不是在所有令牌对上平均分配注意力，从而降低注意力的时间复杂度，提高长文本摘要任务的效率。实

验结果表明，该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02，在数据集wikitext-

103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。

关键词：序列到序列架构；文本摘要；Transformer模型；递归神经网络；递归循环机制；稀疏自注意力机制

源代码链接：/lxh6636/MyModel.git

中图分类号：TP183文献标志码：AD0I:10.19678/j.issn.1000-3428.0068177

TextSummarizationMethodIncorporatingRNNandSparseSelf-Attention

LIUZhong*”,TANGHong*,WANGNingzhe’,ZHUChuanrun-2

(1.SchoolofCommunicationsandInformationEngineering,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China;

2.ChongqingKeyLaboratoryofMobileCommunicationsTechnology,

ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

[Abstract)Withtherapiddevelopmentofdeeplearning,textsummarizationmethodsbasedontheSequence-to-

Sequence(Seq2Seq)architecturehavebeengainingtraction.However,mostexistingtextsummarizationmodels

areconstrainedbylong-termdependencies,ignorethecomplexityofattentionmechanisms,andtheimpactof

word-orderinformationontextsummarygeneration.Thegeneratedsummariesoftenlosekeyinformation,

deviatingfromtheoriginalcontentandintent,whichaffectsuserexperience.Toaddresstheseissues,at