CN117058734B 一种基于有效注意力机制的轻量化宏表情识别方法 （合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117058734B(45)授权公告日2025.07.11

(21)申请号202310876233.7

(22)申请日2023.07.17

(65)同一申请的已公布的文献号申请公布号CN117058734A

(43)申请公布日2023.11.14

(73)专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验

室)

地址230000安徽省合肥市高新区望江西

路5089号，中国科学技术大学先进技术研究院未来中心B1205-B1208

(72)发明人樊春晓李劲滔王振兴

(51)Int.CI.

GO6V40/16(2022.01)

GO6V10/80(2022.01)

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)

GO6N3/045(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN110188621A,2019.08.30

CN113128369A,2021.07.16审查员余祖浩

(74)专利代理机构合肥天明专利事务所(普通

合伙)34115专利代理师金凯谢中用

权利要求书2页说明书5页附图2页

(54)发明名称

一种基于有效注意力机制的轻量化宏表情识别方法

(57)摘要

CN117058734B本发明涉及表情识别技术领域，公开了一种基于有效注意力机制的轻量化宏表情识别方法，DSC-LNN网络模型的构建方法包括：搭建三层由小尺度卷积核构成的图像特征提取块，以及两层基于深度可分离卷积的卷积核特征提取块；构建通道注意力模块；构建空间注意力模块；将构建的通道注意力模块和空间注意力模块依次串行连接构成有效注意力机制模块，并嵌入到卷积核特征提取块中，将Dropout层输出的特征向量输入到全连接层以及分类器，进行特征融合及表情分类，得到最终的分类结果。深度可分离卷积的参数明显更少，计算需求更低。此外，由于表情识

CN117058734B

FEBlock

FEBlock

32

FEBlock

FEBlock128

DSC-FEBlock256

DSC-FEBlock

256

Dropout0.2

全连接层

分类器

CN117058734B权利要求书1/2页

2

1.一种基于有效注意力机制的轻量化宏表情识别方法，所采用的DSC-LNN网络模型包括图像特征提取块FEBlock、卷积核特征提取块DSC-FEBlock、Dropout层、全连接层和分类器；DSC-LNN网络模型的构建方法，包括以下步骤：

步骤一，搭建三层由小尺度卷积核构成的图像特征提取块FEBlock,以及两层基于深度可分离卷积的卷积核特征提取块DSC-FEBlock;图像特征提取块FEBlock包括卷积层、批归一化层、激活函数层和最大池化层，激活函数层采用具有平滑特性的Swish函数；卷积核特征提取块DSC-FEBlock除以下内容外与图像特征提取块FEBlock具有相同结构：DSC-FEBlock通过深度可分离卷积层取代FEBlock中的卷积层；三层FEBlock和两层DSC-FEBlock的通道数依次为32、64、128、256、256;

步骤二，构建通道注意力模块；通道注意力模块首先对前一层输入的特征图进行全局平均池化和最大池化，生成两个不同的特征图，然后通过共享一维卷积对两个不同的特征图分别进行处理，再使用元素求和来合并输出特征向量，最后通过Sigmoid激活操作，生成最终的通道注意特征图;

步骤三，构建空间注意力模块；空间注意力模块将通道注意特征图沿通道维度进行

最大池化和平均池化，将得到的特征向量沿通道维度进行拼接，得到一个特征图，然后使用卷积运算来提取特征图之间的空间相关性，并通过Sigmoid激活函数来生成空间注意力图Cs;

步骤四，将构建的通道注意力模块和空间注意力模块依次串行连接构成有效注意力机制模块EAM,并将有效注意力机制模块EAM嵌入到卷积核特征提取块DSC-FEBlock中，嵌入位置为DSC-FEBlock的激活函数之后、最大池化层之前；