基于噪声不一致性的人脸伪造检测与区域定位算法研究.pdf

华中科技大学硕士学位论文

摘要

以人脸为主的深度伪造多媒体内容的传播存在混淆视听的风险，深度伪造内容

的流行必然推动对深度伪造的辨别检测。尽管现有研究算法可以对现有数据集内已

有的伪造方法进行拟合，但对未知伪造方法和场景效果差，存在鲁棒性差和泛化性

差等问题。此外，深度伪造以欺骗人为主体，传统二分类结果缺少可解释性。

为提高深度伪造检测的泛化性和可解释性，基于深度伪造样本的前背景的纹理

不一致性，设计了一套伪造纹理生成方案和深度伪造纹理增强和定位网络。首先设

计了一种伪造样本生成模块，通过对掩码内的区域进行噪声模式扰动，制作了人脸

部分区域与背景区域噪声模式存在差异的伪造样本以扩充训练，并将掩码作为伪造

区域的像素级标签。该伪造样本生成模块通过替换人脸、数据增强和使用生成对抗

网络特有纹理等多种方式来制作伪造样本，并分配多种标签以拓展二分类任务。此

外，设计了一种基于空域富模型的双编解码器网络结构辅助伪造样本生成模块。该

网络包含色彩信息分支和噪声信息分支分别从色彩角度和图像噪声角度捕捉伪造信

号。除输出分类标签外，其色彩分支可以输出重构图像，在监督编码器提取色彩信

号的同时，输出的重构图像受判别器监督，其包含的生成对抗网络指纹信息会被伪

造样本生成模块用于后续生成伪造图片。该网络的噪声分支可以输出对伪造区域的

定位，并由伪造样本生成模块提供监督信号。本文为首个使用自制重构图像参与伪

造样本生成以辅助伪造检测的方法。

在FaceForensics++、DFD、Celeb-DF、DFDC-Preview、DFDC等多个主流数据

集上的域内实验和跨域泛化性实验均证明所提出算法的性能相比现有算法有较大的

提升。其中在DFDC-Preview和DFDC两个伪造类型最为繁多的数据集上的跨数据

集测试的泛化性能相比目前的主流方法提升6.00%和5.21%。

关键词：深度伪造检测；人脸伪造检测；伪造样本生成；伪造区域定位；泛化性；

I

华中科技大学硕士学位论文

Abstract

Deepsynthesismultimediacontentsespeciallyinhumanfacesmanipulationposea

riskofvisualandauditoryconfusion.Suchprevalenceofdeepfakecontentscallfor

generalizedfaceforgerydetectionmethods.Thoughrecentworksiscompetentfor

detectionwithintraineddatasets,theyusuallyfailinunknownscenesandforgeries.

Besides,traditionalbinaryclassificationresultslackinterpretabilityfordeceptive

deepfakes.Toboostgeneralizationandinterpretability,afakesamplegeneratortogether

withadeepfakedetectionandlocalizationnetworkisproposed.Inspiredbythe

inconsistencybetweenfaceregionandbackgroundduringstitching,afakesample

generatorisappliedtoproducefaceswithnoisepatternperturbationwithinmaskregion.