CN115690872B 基于特征融合的表情识别模型的训练方法及识别方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115690872B(45)授权公告日2025.07.01

(21)申请号202211201514.4

(22)申请日2022.09.29

(65)同一申请的已公布的文献号申请公布号CN115690872A

(43)申请公布日2023.02.03

(73)专利权人西安电子科技大学

地址710071陕西省西安市太白南路2号

(72)发明人田小林范瑞杰蒋益焦李成

(74)专利代理机构西安嘉思特知识产权代理事务所(普通合伙)61230

专利代理师辛菲

GO6V10/774(2022.01)

GO6V10/764(2022.01)

GO6N3/045(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN113221799A,2021.08.06

CN113221641A,2021.08.06审查员王黎明

(51)Int.CI.

GO6V40/16(2022.01)

GO6V10/80(2022.01)

GO6V10/82(2022.01)权利要求书4页说明书10页附图3页

(54)发明名称

采用训练集中的多张预处理图像，通过对比学习方法对特征提取网络进行训练，得到预训练的特征提取网络：预训练的特征提取网络用于拉近相同类别的图像的特征图在特征空间中的距离，推远不同类别的图像的特征图在特征空间中的距离

采用训练集中的多张预处理图像，通过对比学习方法对特征提取网络进行训练，得到预训

练的特征提取网络：预训练的特征提取网络用于拉近相同类别的图像的特征图在特征空间中的距离，推远不同类别的图像的特征图在特征空间中的距离

根据预调练的特征提取网络构建初始表情识别模型；初始表情识荔模型包括：预训练的特征提取网络、基于注意力的翻转特征融合网络、分类网络和乱序融合网络

每次选取多张预处理图像作为原图像，对各张原图像翻转处理，得到各张原图像的翻转图像，将原图像和翻转图像输入初始表情识别模型

通过预训练的特征提取网络得到每次输入的各张图像的第一特征图

通过翻转特征融合网络得到第一特征图的第二特征图和注意力权重、包含各张原图像的第

一融合特征的第一全局融合特征，以及翻转注意力报失：每很原图像的第一融合特征是根

据该张原图像的第二特征图、注意力权重和该张原图像的翻转图像的第二特征图和注意力

权重确定的；翻转注意力损失是根据各张原图像的注意力权重和各张原图像的翻转图像的

注意力权重确定的；第二特征图和对应的注意力权重的维度相同

通过乱序特征融合网络将第一全局融合特征中不同的第一融合特征的顺序以预设顺序

调整，得到第一乱序全局融合特征，并根据第一全局融合特征、第一全局融合特征对应的

注意力权重、第一乱序全局融合特征、以及第一乱序全局融合特征对应的注意力权重，得

到包含各个第二融合特征的第二全局融合特征

通过分类网络分别得到第一全局融合特征对应的分类损失，以及第二全局融合特征对应的乱序融合报失

根据每次得到的转注意力损失。分类报失和且序融合损失，调整翻转特征融合网络和/

或分类网络，直至调练次数达到第一预设次数时，得到预训练的翻转特征融合网络和预训

练的分类网络

鲁预训练的特征提取网络、预训练的舔转特征融合网络和预训练的分类网络组成的核型，作为预训拣的表情识别模型

S101

S103

S104

-S105

一S107

S109

(57)摘要

115660872BCN本发明公开了一种基于特征融合的表情识别模型的训练方法及识别方法，该方法包括：采用多张预处理图像训练特征提取网络；构建包括预训练的特征提取网络、翻转特征融合网络、分类网络和乱序融合网络的模型；每次选取多张预处理图像，将选取的图像和其翻转图像输入模型，通过翻转特征融合网络得到第一全局融合特征和翻转注意力损失；通过乱序特征融合网络得到第二全局融合特征；通过分类网络得到第一全局融合特征的分类损失和第二全局融合特征的乱序融合损失；根据这三个损失迭代调整模型参数，从而得到预训练的翻转特征融合网络和预训练的分类网络；将预训练的特征提取网络、预训

115660872B

CN

CN115690872B