CN115619685B 一种用于图像修复的追踪结构的Transformer方法 （广州大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115619685B(45)授权公告日2025.07.01

(21)申请号202211394375.1

(22)申请日2022.11.08

(65)同一申请的已公布的文献号申请公布号CN115619685A

(43)申请公布日2023.01.17

(73)专利权人广州大学

地址510006广东省广州市大学城外环西

路230号

GO6T5/40(2006.01)

GO6T7/13(2017.01)

GO6N3/0455(2023.01)

GO6N3/0464(2023.01)

GO6N3/045(2023.01)

GO6N3/096(2023.01)

(56)对比文件

CN114897738A,2022.08.12

CN114399436A,2022.04.26

(72)发明人王员根林嘉裕审查员古志春

(74)专利代理机构广州高航知识产权代理有限公司11530

专利代理师覃钊雄

(51)Int.CI.

GO6T5/77(2024.01)

GO6T5/60(2024.01)权利要求书2页说明书9页附图4页

(54)发明名称

一种用于图像修复的追踪结构的Transformer方法

(57)摘要

CN115619685B本发明公开了一种用于图像修复的追踪结构的Transformer方法，本发明设计了一个用于图像修复的端到端跟踪结构Transformer(TSFormer),其中包括结构增强模块(SEM)和同步追踪双轴Transformer(STT),在SEM中，本专利将Edge和定向梯度直方图HOG作为结构特征，用于辅助STT网络，通过利用该模块在缺失区域中生成边缘(Edge)和定向梯度(HOG)特征的直方图作为草图张量空间，在图像修复任务中利用Edge与HOG特征，为局部子区域提供梯度方向或边缘方向分布；因此，设计了一个同步追踪双轴Transformer(STT),用于统一特征提取和结构特征融合，采用增量训练策略将有效的结构信息动态传递给修复模型，设计了一个低复杂度的通道空间双轴注意力模块，用于并行捕获通道和空间

CN115619685B

CN115619685B权利要求书1/2页

2

1.一种用于图像修复的追踪结构的Transformer方法，其特征在于，包括跟踪结构Transformer,所述跟踪结构Transformer包括结构增强模块(SEM)和同步跟踪双轴Transformer(STT),包含以下步骤：

S1:令I∈R#×W×为真实图像，M∈{0,1}X×1为掩码，Iin=Ig○M表示损坏的图像，Y=

YgtOM、H=Ht?M和E=Egt0M分别表示缺失的灰色、HOG和CannyEdge图像；其中E和Hgt分别是完整的边缘Edge和HOG图像，◎是卷积层的两条平行路径的元素乘积；

S2:将三幅图像拼接后输入到SEM中，得到恢复的边缘Eout和恢复的HOGHou特征作为草图空间向量，公式为[Eout,Hut]=SEM(E,H,Y);

S3:STT将受损图像Iin、恢复结构图像Hut和Eu连接起来，最终生成输出图像I。t,公式为Iut=STT(Iin,Hout,Eut),通道C=24;

所述S2中，SEM恢复图像边缘和HOG作为STT的辅助结构特征，输入的缺失的灰度图像Ym、

HOG图像H和Canny边缘E,应用卷积头来生成1/8大小的特征图，基于通道的自注意力在低分辨率特征空间中捕获全局结构信息，卷积尾部采用转置卷积将这些特征上采样到输出结构Et和Hout,Lme来优化预测的草图结构：

Lme=age+Lng=BCE(Eg,E)+ae?(H?,H.)(1)

分别使用二元交叉熵(BCE)和1?损失来重建完整的边缘Edge和HOG特征，实验中取λ=0.1,

HOG在子区域内雕刻梯度方向和边缘方向的分布，通过减去相邻像素