原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
研究论文第50卷第2期/2024年2月/计算机工程
融合卷积收缩门控的生成式文本摘要方法
1，21，21，21，21，2
甘陈敏，唐宏，杨浩澜，刘小洁，刘杰
（1.重庆邮电大学通信与信息工程学院，重庆400065；2.重庆邮电大学移动通信技术重庆市重点实验室，重庆400065）
摘要：在深度学习技术的推动下，基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研
究中应用最广泛的模型之一，尤其在生成式文本摘要任务中取得显著效果。然而，现有的采用循环神经网络的模
型存在并行能力不足和时效低下的局限性，无法充分概括有用信息，忽视单词与句子间的联系，易产生冗余重复或
语义不相关的摘要。为此，提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器，
提取不同层次的文本表征得到上下文编码，采用卷积收缩门控单元调整编码权重，强化全局相关性，去除无用信息
的干扰，过滤后得到最终的编码输出，并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式
预训练Transformer(GPT)的解码模块3种不同的解码器，加强编码器与解码器的关联，以此探索能生成高质量摘要
的模型结构。在LCSTS和CNNDM数据集上的实验结果表明，相比主流基准模型，设计的TCSG、ES-TCSG和
GPT-TCSG模型的评价分数增量均不低于1.0，验证了该方法的有效性和可行性。
关键词：生成式文本摘要；序列到序列模型；Transformer模型；BERT编码器；卷积收缩门控单元；解码器
中图分类号：TP18文献标志码：ADOI：10.19678/j.issn.1000-3428.0066847
AbstractiveTextSummarizationMethodIncorporating
ConvolutionalShrinkageGating
GANChenmin1，2，TANGHong1，2，YANGHaolan1，2，LIUXiaojie1，2，LIUJie1，2
（1.CollegeofCommunicationandInformationEngineering，ChongqingUniversityofPostsandTelecommunications，Chongqing400065，China；
2.ChongqingKeyLabofMobileCommunicationsTechnology，ChongqingUniversityofPostsandCommunications，Chongqing400065，China）
【Abstract】Drivenbydeeplearningtechniques，SequencetoSequence（Seq2Seq）model，basedonanencoder-decoder
architecturecombinedwithanattentionmechanism，iswidelyutilizedintextsummarizationresearch，particularlyfor
abstractivetextsummarizationtasks.Remarkableresultsareachievedbythismodel.However，limitationsarefacedby
existingmodelsusingRecurrentNeuralNetwork（RNN），suchasinsufficient
文档评论（0）