创新注意力机制在双人交互行为识别中的应用.docxVIP

创新注意力机制在双人交互行为识别中的应用

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.4技术路线与框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1注意力模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.1.1注意力模型发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.1.2常见注意力模型类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.2双人交互行为识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.2.1行为识别基本流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.2.2双人交互场景特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.3自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.3.1自注意力原理分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

2.3.2自注意力应用优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

基于创新注意力机制的交互行为分析模型．．．．．．．．．．．．．．．．．．．38

3.1模型整体架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.2特征提取模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

3.2.1多模态特征融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

3.2.2空间特征处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.3创新注意力融合模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.3.1交互关键区域捕捉．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.3.2上下文信息整合策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.4行为识别分类模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

实验设置与数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

4.1实验数据集选取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

4.1.1数据集来源与描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

4.1.2数据预处理方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．63

4.2实验平台与工具．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．67

4.3对比基准模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．71

4.4评价指标体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．73

实验结果与分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．77

5.1创新注意力模型效果评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．78

5.1.1在公开基准数据集上的表现．．．．．．．．．．．．．．．．．．．．．．．．．．．．79

5.1.2与对比模型的精度对比．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．83

5.2注意力权重可视化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．84

5.2.1交互焦点区域可视化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．87

5.2.2不同行为下的权重分布规律．．．．．．．．．．．．．．