CN111401081B 神经网络机器翻译方法、模型及模型形成方法 （波音公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN111401081B(45)授权公告日2025.07.01

(21)申请号201811534845.3

(22)申请日2018.12.14

(65)同一申请的已公布的文献号申请公布号CN111401081A

(43)申请公布日2020.07.10

(73)专利权人波音公司

地址美国伊利诺斯州

专利权人中国科学院自动化研究所

(72)发明人张家俊周龙周玉宗成庆杨里

(74)专利代理机构北京康信知识产权代理有限

责任公司11240专利代理师梁丽超王红艳

(51)Int.CI.

GO6F40/58(2020.01)

GO6N3/02(2006.01)

(56)对比文件

CN107729329A,2018.02.23

CN108664632A,2018.10.16

审查员曹俊杰

权利要求书3页说明书18页附图8页

(54)发明名称

神经网络机器翻译方法、模型及模型形成方法

(57)摘要

CN111401081B本发明涉及神经网络机器翻译方法、模型及模型形成方法。形成神经网络机器翻译模型的方法包括：形成编码器，其包括第一多头注意力模型；形成解码器，其包括第二多头注意力模型和未来信息模型，未来信息模型表示当前预测单词和已经生成单词的第一注意力隐层表示和当前预测单词和未来可能的单词的第二注意力隐层表示的融合；通过编码器和解码器形成第一机器翻译模型；以及对第一机器翻译模型进行对源语言序列从左至右和从右至左的解码训练，以形成神经网络机器翻译模型，其中，第一多头注意力模型和未来信息模型为第二多头注意力模型提

CN111401081B

题。

H;

H;

融合Hhiscory

Matmul

Softmax

Mask

Scale

Matmul

V

Softmax

Mask

Scale

Matmul

Hfuiure

Matmul

CN111401081B权利要求书1/3页

2

1.一种形成神经网络机器翻译模型的方法，其特征在于，包括：

形成编码器，所述编码器包括第一多头注意力模型；

形成解码器，所述解码器包括第二多头注意力模型和未来信息模型，所述未来信息模型表示当前预测单词和已经生成单词的第一注意力隐层表示和当前预测单词和未来可能的单词的第二注意力隐层表示的融合；

通过所述编码器和所述解码器形成第一机器翻译模型；以及

对所述第一机器翻译模型进行对源语言序列从左至右和从右至左的解码训练，以形成所述神经网络机器翻译模型，

其中，所述第一多头注意力模型和所述未来信息模型为所述第二多头注意力模型提供输入，

其中，形成所述解码器包括形成所述未来信息模型，形成所述未来信息模型包括：

利用点积注意力机制计算当前预测单词和已经生成单词的第一注意力隐层表示：r=Attention◎,K,,其中,m?0表示第一注意力隐层表示,豆表示当前时刻的

隐层状态查询值，K表示历史的隐层状态键值，V表示历史的隐层状态实值，Attention()为点积注意力机制的数学函数表示；

利用点积注意力机制计算所述当前预测单词和未来可能的单词的第二注意力隐层表示:=Attention◎,K,V,其中,表示第二注意力隐层表示,K表示未来的隐

层状态键值，V表示未来的隐层状态实值；

将所述第一注意力隐层表示和所述第二注意力隐层表示融合以形成融合注意力隐层表示；

利用所述融合注意力隐层表示形成点积注意力模型；

对所述点积注意力模型设置线性变换模型，以通过线性变换将所述点积注意力模型的输入映射为多组预定维度的向量；

对所述点积注意力模型设置连接模型，以将所述向量经由所述点积注意力模型处理后所得的向量进行连接；以及

通过所述点积注意力模型、所述线性变换模型和所述连接模型形成所述未来信息模型。

2.根据权利要求1所述的方法，其特征在于，形成所述编码器包括形成所述第一多头注意力模型，其中，形成所述第一多头注意力模型包括：

利用点积注意力机制形成点积注意力模型；

对所述点积注意力模型设置线性变换模型，以通过线性变换将所述点积注意力模型的输入映射为多组预定维度的向量；

对所述点积注意力模型设置连接模型，以将所述向量经由所述点积注意力模型处理后所得的向量进行连接；以及

通过所述点积注