基于Transformer架构的多语言预训练模型在语言理解与生成中的协同机制研究.docxVIP

基于Transformer架构的多语言预训练模型在语言理解与生成中的协同机制研究

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

多语言Transformer模型理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1Transformer架构核心特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2多语言预训练任务概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3语言嵌入表示方法分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.4交叉语言知识迁移策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

语言理解与生成的交互行为分析．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1理解隐藏层的动态编码机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2生成模块的输出调控方式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.3双向信息传递路径优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.4跨语言歧义消解技巧．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28