轻量级特征提取与加性注意力匹配方法研究.docxVIP

轻量级特征提取与加性注意力匹配方法研究

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1.1机器学习发展现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.2特征工程的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2.1特征提取方法进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.2.2注意力机制应用概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1.3研究目标与内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1.3.1主要研究目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.3.2具体研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

1.4技术路线与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

1.4.1总体技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

1.4.2关键研究方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

1.5论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.1特征提取基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.1.1特征提取概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.1.2传统特征提取方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.2深度学习特征表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.2.1卷积神经网络基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.2.2循环神经网络概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

2.3注意力机制原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

2.3.1注意力机制概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

2.3.2加性注意力模型详解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

2.4轻量化模型设计思想．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

2.4.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

2.4.2参数优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

基于改进卷积神经网络的轻量级特征提取方法．．．．．．．．．．．．．．．45

3.1传统卷积神经网络分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.1.1卷积神经网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3.1.2传统CNN局限性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.2改进卷积神经网络设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.2.1网络结构优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

3.2.2卷积核设计改进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.3轻量化策略应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

3.3.1残差连接实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

3.3.2稀疏化方法引入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．62

3.4改进模型特