CN115719462B 基于时空域预测像素级篡改概率值的换脸视频检测方法及系统 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115719462B(45)授权公告日2025.07.08

(21)申请号202211391297.X

(22)申请日2022.11.08

(65)同一申请的已公布的文献号申请公布号CN115719462A

(43)申请公布日2023.02.28

(73)专利权人华南理工大学

地址510640广东省广州市天河区五山路

381号

(72)发明人卓思超胡永健刘绯贝余翔宇

赵鸿杰

(74)专利代理机构广州市华学知识产权代理有限公司44245

专利代理师郑秋松

(51)Int.CI.

GO6V20/40(2022.01)

GO6V40/16(2022.01)

GO6V40/40(2022.01)

GO6V10/40(2022.01)

GO6V10/62(2022.01)

GO6V10/764(2022.01)GO6V10/82(2022.01)GO6N3/0442(2023.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/09(2023.01)

GO6V10/77(2022.01)

(56)对比文件

CN

CN

111539272

111539942

A,2020.08.14

A,2020.08.14

审查员万林青

权利要求书3页说明书10页附图4页

(54)发明名称

基于时空域预测像素级篡改概率值的换脸视频检测方法及系统

(57)摘要

CN115719462B本发明公开了一种基于时空域预测像素级篡改概率值的换脸视频检测方法及系统，该方法包括下述步骤：视频预处理，根据人脸关键点构建篡改掩膜，对篡改掩膜随机采样得到多个像素点的坐标位置以及对应的篡改值，对人脸图像进行空域特征和多层次时域特征提取得到时空特征，基于双注意力机制计算得到时空不一致特征，将时空不一致特征与像素点的坐标通道进行拼接，基于像素级位置篡改概率值重建进行辅助监督，对时空不一致特征进行二分类得到换脸视频篡改检测结果。本发明能够使时空特征更具全局性，能够根据坐标定位预测出该像素点的篡改概率值，在不同数据库均获得较好的准确率，其

CN115719462B

CN115719462B权利要求书1/3页

2

1.一种基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，包括下述步骤：

将待测视频进行分帧，对每一帧图像进行人脸框检测提取；

根据人脸关键点构建篡改掩膜；

对待检测图像的篡改掩膜进行随机采样，得到多个像素点的坐标位置以及对应的篡改值；

基于DenseNet模块构建浅层的卷积层模块，对输入的人脸图像进行空域特征提取，输出空域特征；

基于ConvLSTM构建多层次时域特征提取模块，将空域特征输入多层次时域特征提取模块输出时空特征，对应不同时间分辨率；

构建双注意力机制模块，所述双注意力机制模块设有时空注意力机制和时域分辨率注意力机制，在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，加权求得时空不一致特征；

将时空不一致特征与像素点的坐标通道进行拼接，经多层卷积层后生成像素坐标位置对应的篡改概率预测值，将篡改值通道作为篡改值标签，对比像素级篡改概率预测值和篡改值标签计算交叉熵损失函数；

设定阈值，基于设定阈值对时空不一致特征进行二分类，得到换脸视频篡改检测结果。

2.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述根据人脸关键点构建篡改掩膜，具体步骤包括：

根据人脸关键点的点集生成一个凸多边形作为篡改区域构建篡改掩膜，所述篡改掩膜设有二值化0或1的值，当判定假脸图像在人脸轮廓区域被篡改过时，人脸轮廓区域内均设为1值，背景区域均设为0值；当判定真脸图像在整张图像中均未被篡改过时，整张掩膜均设为0值；

根据人脸框位置裁剪出人脸区域图片，并采用双线性插值对图片重采样成统一的预设分辨率作为图像输入。

3.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述在时空注意力机制中生成三维概率注意力图，对多