融合时间编码和时间分布注意力的推理模型.docxVIP

融合时间编码和时间分布注意力的推理模型

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2相关工作回顾．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

理论框架与预备知识．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

模型结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

模型训练与优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

4.1损失函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

4.1.1交叉熵损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

4.1.2注意力损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

4.1.3其他辅助损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

4.2训练策略与技巧．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．