一种基于自注意力的生成式文本摘要方法.PDF

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110597979 A (43)申请公布日 2019.12.20 (21)申请号 201910511656.2 (22)申请日 2019.06.13 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 田珂珂　印鉴　 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 代理人 林丽明 (51)Int.Cl. G06F 16/34(2019.01) G06F 17/27(2006.01) 权利要求书1页 说明书6页 附图2页 (54)发明名称 一种基于自注意力的生成式文本摘要方法 (57)摘要 本发明提供一种基于自注意力的生成式文 本摘要方法，该方法抛弃了以往文本摘要方法中 常用的循环神经网络结构，转而采用了基于自注 意力机制的方法，避免了循环神经网络结构的低 效性。此外对于自注意力机制方法在生成摘要效 果不佳的缺点，本发明对其该方法进行了改进， 简化了其结构，最终实现了高效、准确的文本摘 要生成。 A 9 7 9 7 9 5 0 1 1 N C CN 110597979 A 权　利　要　求　书 1/1 页 1.一种基于自注意力的生成式文本摘要方法，其特征在于，包括以下步骤： S1：建立基于自注意力机制的文本摘要模型，模型包括基于自注意力机制的编码器和 基于注意力机制的解码器，其中编码器的参数被解码器共享； S2：建立文本摘要模型的对应的损失函数； S3：进行文本摘要模型的训练，并在目标文本数据集上测试。 2.根据权利要求1所述的基于自注意力的生成式文本摘要方法，其特征在于，所述步骤 S1的具体过程是： S11：构建字词的向量表示层：先将文字转换成数字表示，即用向量表示层来完成； S12：构建基于自注意力机制的编码器，编码器包括多头注意力层和全连接层，接收来 自于向量表示层的向量，并提取其中隐藏的特征，以向量形式输出； S13：构建基于注意力机制的解码器，解码器包括多头注意力层和全连接层，接收来自 于编码器的特征，并根据此特征来生成摘要文本。 3.根据权利要求2所述的基于自注意力的生成式文本摘要方法，其特征在于，所述步骤 S2的具体过程是： 文本摘要模型的损失函数由负对数似然函数给出： loss＝-logP(y|x) 其中，x＝{x ,x ,…,x }为输入原文文本，y＝{y ,y ,…,y }为摘要序列，mn，似然函数 1 2 n 1 2 m 表示在当前模型参数下，得到摘要序列的概率，而该概率，即在当前模型参数下，得到摘要 序列中每个词的概率相乘： P(y|x)＝p(y |x)*p(y |x,y)*…*p(y |x,y ,…y )。 1 2 1 m 1 m-1 4.根据权利要求3所述的基于自注意力的生成式文本摘要方法，其特征在于，所述步骤 S3的具体过程是： S31：对于训练集中的输入原文文本x＝{x ,x ,…,x }，对其进行分词，每个词输入到向 1 2 n 量表示层得到其对应的向量，并输入到编码器，编码器提取每个词的特征，对每个词产生一 个向量h ，则对于原文序列有矩阵H＝[h ]，对于训练集