小样本学习中基于语义的信息优化技术研究.docxVIP

小样本学习中基于语义的信息优化技术研究

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2.1小样本学习研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2.2语义信息优化技术研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.5论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

相关理论与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.1小样本学习基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

2.1.1样本稀缺问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1.2推理泛化能力．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.2语义信息表示方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.2.1词语嵌入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.2.2句子/文本嵌入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.2.3图像语义表示技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.3信息优化理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.3.1信息增益．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.3.2互信息．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.3.3信息瓶颈理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

基于语义的信息优化模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

3.1模型总体框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

3.2语义特征提取模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

3.2.1多模态特征融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

3.2.2语义关系建模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.3信息优化算法设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.3.1基于互信息的信息权重分配．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

3.3.2基于信息瓶颈的语义信息压缩．．．．．．．．．．．．．．．．．．．．．．．．．．45

3.4模型训练与优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.4.1损失函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3.4.2反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.4.3超参数调整．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

实验设计与结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

4.1实验数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

4.1.1样本稀缺数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

4.1.2语义信息数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

4.2评价指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58