CN118941449B 一种基于混合残差注意力的轻量化人脸超分辨率重建方法 （北京电子科技学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118941449B(45)授权公告日2025.07.04

(21)申请号202410984595.2

(22)申请日2024.07.22

(65)同一申请的已公布的文献号申请公布号CN118941449A

(43)申请公布日2024.11.12

(73)专利权人北京电子科技学院

地址100070北京市丰台区富丰路7号

(72)发明人张克君曾泰恒王文彬王钧

(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201

专利代理师谢丽莎

GO6N3/048(2023.01)

GO6N3/082(2023.01)

(56)对比文件

CN114648684A,2022.06.21

CN115953296A,2023.04.11审查员谢琳

(51)Int.CI.

GO6T3/4053(2024.01)

GO6T3/4046(2024.01)

GO6N3/0464(2023.01)权利要求书3页说明书8页附图3页

(54)发明名称

一种基于混合残差注意力的轻量化人脸超分辨率重建方法

(57)摘要

CN118941449B本申请提出了一种基于混合残差注意力的轻量化人脸超分辨率重建方法，该方法包括：通过局部卷积模块与轻量化自注意力模块分别捕捉浅层特征图的局部细节信息与全局依赖关系，形成局部特征与全局特征；通过整合局部卷积模块与轻量化自注意力模块以构建混合残差注意力模块，通过残差结构对局部特征与全局特征进行特征融合；提取低分辨率人脸图像的初始特征，将多个混合残差注意力模块串联拼接，通过倒序融合模块融合多层特征，得到目标深层综合特征；将目标深层综合特征输入到图像上采样模块，生成高分辨率人脸重建图像。本申请通过结合全局和局部特征提升了人脸图像的重建质量，

CN118941449B

构建局部卷积模块与轻量化自注意力模块，所述局部卷积模

块与所述轻量化自注意力模块分别用于捕捉浅层特征图的局

部细节信息与全局依赖关系，形成局部特征与全局特征

整合所述局部卷积模块与所述轻量化自注意力模块以构建混

合残差注意力模块，通过所述混合残差注意力模块对所述局

部特征与所述全局特征进行特征融合

提取低分辨率人脸图像的初始特征，将多个混合残差注意力

模块串联拼接，以所述初始特征为输入，通过倒序融合模块

融合多层特征，得到目标深层综合特征

将所述目标深层综合特征输入到图像上采样模块，生成高分辨率人脸重建图像

101

102

103

104

CN118941449B权利要求书1/3页

2

1.一种基于混合残差注意力的轻量化人脸超分辨率重建方法，其特征在于，包括：

构建局部卷积模块与轻量化自注意力模块，所述局部卷积模块与所述轻量化自注意力模块分别用于捕捉浅层特征图的局部细节信息与全局依赖关系，形成局部特征与全局特

征；

整合所述局部卷积模块与所述轻量化自注意力模块以构建混合残差注意力模块，通过所述混合残差注意力模块对所述局部特征与所述全局特征进行特征融合；构建后的混合残差注意力模块包括主路径和残差路径，所述整合所述局部卷积模块与所述轻量化自注意力模块以构建混合残差注意力模块，通过所述混合残差注意力模块对所述局部特征与所述全局特征进行特征融合，包括：

所述主路径通过所述轻量化自注意力模块捕捉浅层特征图的全局依赖关系，形成全局特征Fglobal;所述残差路径通过所述局部卷积模块捕捉浅层特征图的局部细节信息，形成局部特征Flocal,表达式为：

Fglobal=LightAttention(Finit)

Flocal=MBConv(Finit)

其中，LightAttention(·)表示所述轻量化自注意力模块，MBConv(·)表示所述局部卷积模块；

将主路径的全局特征和残差路径的局部特征进行特征融合，得到单个所述混合残差注意力模块的深层综合特征，表达式为：

Fintegrate=Fglobal+Flocal

其中，Fintegrate为单个所述混合残差注意力模块的深层综合特征；

提取低分辨率人脸图像的初始特征，将多个混合残差注意力模块串联拼接，以所述初