CN118570698B 视频缺陷检测方法和装置、电子设备及存储介质 （北京优酷科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118570698B(45)授权公告日2025.07.08

(21)申请号202410658844.9

(22)申请日2024.05.24

(65)同一申请的已公布的文献号申请公布号CN118570698A

(43)申请公布日2024.08.30

(73)专利权人北京优酷科技有限公司

地址100102北京市朝阳区望京东园四区9

号楼26层2601室

(72)发明人李亚旻谭深李嘉伟李静

江文斐

(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277

专利代理师李茂家周蕾

(51)Int.CI.

GO6V20/40(2022.01)

GO6V10/764(2022.01)

GO6V10/44(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN113177529A,2021.07.27

CN117455812A,2024.01.26审查员程呈

权利要求书4页说明书24页附图7页

(54)发明名称

视频缺陷检测方法和装置、电子设备及存储

介质

(57)摘要

CN118570698B本公开涉及视频缺陷检测方法和装置、电子设备及存储介质，所述方法包括：获取待检测的视频的视频帧；提取视频帧的浅层特征图和深层特征图；根据浅层特征图及深层特征图，确定视频帧对应的缺陷图，缺陷图表征预测的视频帧中缺陷所在的缺陷区域；根据浅层特征图、深层特征图及缺陷图，确定视频帧对应的缺陷检测结果，缺陷检测结果用于指示视频帧是否存在缺

CN118570698B

S11

获取待检测的视频的视频帧

S12

提取视频帧的浅层特征图和深层特征图

S13

根据浅层特征图及深层特征图，确定视频帧对应的缺陷图

S14

根据浅层特征图、深层特征图及缺陷图，确定视频帧对应的缺陷检测结果

CN118570698B权利要求书1/4页

2

1.一种视频缺陷检测方法，其特征在于，包括：

获取待检测的视频的视频帧；

提取所述视频帧的浅层特征图和深层特征图；

根据所述浅层特征图及所述深层特征图，确定所述视频帧对应的缺陷图，所述缺陷图表征预测的所述视频帧中缺陷所在的缺陷区域；

根据所述浅层特征图、所述深层特征图及所述缺陷图，确定所述视频帧对应的缺陷检测结果，所述缺陷检测结果用于指示所述视频帧是否存在缺陷；

其中，所述提取所述视频帧的浅层特征图和深层特征图，包括：

将所述视频帧划分为多个图像块；

将所述多个图像块输入至转换器模块，得到所述转换器模块中N层转换器单元提取的多尺度特征图，其中，第一层转换器单元提取的第一尺度特征图作为所述浅层特征图，N为正整数；

对所述转换器模块中的第二层转换器单元至第N层转换器单元所输出的第二尺度特征图至第N尺度特征图进行融合处理，得到第一融合特征图；

根据所述第一融合特征图，确定所述深层特征图。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一融合特征图，确定所述深层特征图，包括：

对所述第一融合特征图进行降维处理，得到第二融合特征图；

利用多个窗口注意力机制分别对所述第二融合特征图进行自注意力提取处理，得到多个自注意力特征图，其中，不同窗口注意力机制中用于提取自注意力的窗口大小不同；

对所述第二融合特征图进行池化处理，得到池化特征图；

将所述第二融合特征图、所述多个自注意力特征图及所述池化特征图进行通道拼接，得到第一拼接特征图；

对所述第一拼接特征图进行降维处理，得到所述深层特征图。

3.根据权利要求1所述的方法，其特征在于，所述根据所述浅层特征图及所述深层特征图，确定所述视频帧对应的缺陷图，包括：

对所述浅层特征图进行降维处理，得到第一浅层特征图；

基于所述第一浅层特征图的分辨率，对所述深层特征图进行上采样处理，得到第一深层特征图，所述第一深层特征图与所述第一浅层特征图的分辨率相同；

将所述第一浅层特征图与所述第一深层特征图进行通道拼接，得到第二拼接特征图；对所述第二拼接特征图进行降维处理，得到所述缺陷图；

基于所述视频帧的原始分辨率，对所述缺陷图进行上采样处理，得到与所述视频帧的原始分辨率匹配的目标缺陷图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述浅层特征图、所述深层特征图及所述缺陷图，确