CN115331289B 基于视频运动放大和光流特征的微表情识别方法 （西安理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115331289B(45)授权公告日2025.07.11

(21)申请号202210948759.7

(22)申请日2022.08.09

(65)同一申请的已公布的文献号申请公布号CN115331289A

(43)申请公布日2022.11.11

(73)专利权人西安理工大学

地址710048陕西省西安市碑林区金花南

路5号

(72)发明人赵明华董爽爽都双丽胡静李鹏王琳王理

(74)专利代理机构西安弘理专利事务所61214专利代理师徐瑶

(51)Int.CI.

GO6V40/16(2022.01)

GO6V20/40(2022.01)

GO6V10/82(2022.01)

GO6V10/62(2022.01)

GO6T7/269(2017.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/0442(2023.01)

GO6N3/082(2023.01)

(56)对比文件

US2019311188A1,2019.10.10CN113537008A,2021.10.22

审查员申冰冰

权利要求书2页说明书5页附图1页

(54)发明名称

基于视频运动放大和光流特征的微表情识

0-disgust1-happiness

0-disgust

1-happiness2-others

4-surprise

可视化光流图

RAFT

13层卷积

输入灰度图和光流图特征提取及分类

全连接层

接层

(57)摘要

CN115331289B本发明公开了基于视频运动放大和光流特征的微表情识别方法，具体为：选取数据集并按照情绪分类；对所选数据集的所有原始图像帧序列进行预处理，得到的所有单通道灰度图序列作为网络模型输入的一部分；采用基于深度学习的“RAFT”网络结构，来计算得到的所有图像帧序列的光流特征并将可视化得到光流图作为网络模型输入的另一部分；将所有单通道灰度图序列和所有可视化RGB光流图序列叠加成四通道图像，输入到设计的VGG16网络提取微表情的空域特征并分类得到最终的识别精度。该方法解决了现有技术中存在的微表情识别方法中面部运动强度

CN115331289B

CN115331289B权利要求书1/2页

2

1.基于视频运动放大和光流特征的微表情识别方法，其特征在于，具体按照如下步骤实施：

步骤1,选取数据集并按照情绪分类；

步骤2,对所选数据集的所有原始图像帧序列进行预处理，得到的所有单通道灰度图序列作为网络模型输入的一部分；

步骤2具体按照以下步骤实施：

步骤2.1,采用基于学习的视频运动放大方法，放大所选数据集的所有原始图像帧序列中细微的面部肌肉运动幅度；

步骤2.1的具体按照以下步骤实施：

首先，将输入的所有原始图像帧序列中的所有相邻帧(Xt-1,X)通过编码器H(·)得到他们各自的形状特征(ML-1,M)和纹理特征(Vt-1,V.);

然后，将前后帧的形状特征(M?-1,M)送入放大器进行动作幅度放大；其中，放大器H(·)表示为：

Hm(M-,M,α)=M-1+h(α×g(M-ML?)(1)

式(1)中g(·)由3×3卷积后面跟ReLU激活函数表示，h(·)是3×3卷积后面跟3×3残差块；

最后，解码器将变化了的形状信息与未改变的纹理信息重构，生成放大后的图像帧序列；

步骤2.2,利用dlib库提供的68个关键点信息检测的模型来实现面部对齐操作，裁剪得到面部区域，并将其分辨率统一调整为224像素×224像素；

步骤2.3,选取每个微表情图像序列的峰值帧及前后各4帧，共9帧图像作为关键帧，以减少步骤2.2得到的所有图像帧序列中冗余信息对识别的影响；

步骤2.4,利用cv2.imread()函数将步骤2.3得到的所有图像帧序列进行灰度化处理得到单通道的灰度图，作为网络模型输入的一部分；

步骤3,采用基于深度学习的“RAFT”网络结构，来计算步骤2得到的所有图像帧序列的光流特征并将可视化得到光流图作为网络模型输入的另一部分；

步骤4,将步骤2得到的所有单通道灰度图序列和步骤3得到的所有可视化RGB光流图序列叠加成四通道图