人脸合成技术综述.docxVIP

人脸合成技术综述 人脸由于其作为身份认证信息的特殊属性，是众多计算机领域的研究对象。除人脸检测、识别以及活性检测等方向外，人脸合成领域同样具有很高的活跃度，且伴随着近年来深度学习技术的突破性进展，这一类技术也经历着飞速的发展，在隐私保护、影视动画、娱乐商用等各个领域得到了广泛的应用。相较于人脸检测与识别，人脸合成是一个更加开放的领域。这一领域不仅涉及到如建模、形变与渲染等诸多图形学技术，还涉及到深度学习中关于图像生成的革新技术。不同的人脸合成方法虽然可能具有类似的框架与技术路线，但在具体细节以及实现方法上可能千差万别。因此，人脸合成领域的研究与探索也在为技术本身的发展开拓空间。另外，利用人脸合成技术制作的图像或视频是多媒体篡改取证领域的重点关注对象。推动人脸合成技术发展，对数字取证领域的进步也将产生积极的推动作用在推动技术进步的同时，人脸合成领域的研究也带了许多实际应用。例如，谷歌全景地图在拍摄到未经授权的人脸时，可以借助人脸合成技术自动地将其替换为授权人脸。这不仅避免了对个人隐私的侵犯，而且相比于人脸马赛克，具有更好的视觉效果在影视行业，逼真的人脸合成技术可以以较低的成本实现翻拍或补拍影视片段，或者配音等工作。例如电影《黑客帝国》中利用人脸面部动作合成技术创造了同一个演员不同表情的多个副本在商用领域，通过合成不存在的具有吸引力的人脸作为代言人或广告角色，也是当前人脸合成技术比较有潜力的应用方向，既可以避免高昂的代言与广告成本，也降低了侵犯肖像权的风险。人脸属性合成以及美化任务也是近年来比较火热的研究方法现有技术制作的细节丰富的高分辨率人脸图像已经具有比较理想的视觉效果本文针对人脸图像与视频的合成技术进行了总结，讨论了该技术发展过程中各类方法间的联系与差异，为合成更加逼真的人脸指明了方向。人脸合成具有非常广泛的含义，本文将其归为图1所示的四类，并首先在表1中列举了近几年来国际顶级会议上人脸合成的相关工作。1）人脸身份合成(Face Identity Synthesis)。人脸身份合成试图通过换脸的方式在保持背景不变的情况下更改图像或视频中人物的身份。早期技术虽然实现了身份修改，但也更改了原有面部动作。而近年来，一些技术不仅实现了身份的编辑，还保留了原有面部动作。2）人脸动作合成(Face Movements Synthesis)。人脸动作合成旨在改变人物原有的面部动作。目前，一些技术已经可以实现平滑地改变面部动作，而其中一类称为人脸重演(Face Reenactment)的技术，能够利用目标人脸的动作来操纵源人脸，使其做出相应的面部动作,一些工作甚至能够实现实时操纵，或者驱动动画角色的面部表情3）人脸属性合成(Face Attributes Synthesis)。人脸属性合成是指对原始人脸的某些属性进行编辑，这里的人脸属性指具有明确语义的人脸面部特征，主要分为局部与全局特征，前者包含是否佩戴眼镜，是否留有胡须等，后者包含人的年龄，性别等。4）人脸生成(Face Generation)。人脸合成与人脸生成的不同处在于，前者试图对已有人脸进行修改，而后者生成现实中不存在的人脸，或者尝试根据素描、文本描述等给定条件生成对应的逼真人脸图像。对于人脸超分辨率以及人脸的艺术风格化等工作，本文同样将其列为人脸生成的范畴。虽然技术本身是中立的，但人脸合成在近年来带来了相当多的争议，因此为了防止人脸合成技术带来的不良影响，美国参议院与众议院于2019年提出了《2019年深度伪造报告法案》本文组织结构如下: 第1章节介绍人脸合成领域的相关技术基础；第2至5章节分别按照人脸身份合成、人脸动作合成、人脸属性合成以及人脸生成这几类进行分别讨论。第6章节简要介绍人脸合成技术的应用领域以及可能的前景；第7章节总结了现有技术的缺陷，并对未来发展方向进行了展望。1预备知识人脸合成领域虽然方法众多，但总体而言，基于三维人脸以及生成对抗网络技术的方法占据着重要地位，前者在人脸动作合成方面具有很大的技术优势，而后者在生成特定属性方面能够产生逼真的视觉效果。因此本章节将对这两种技术进行简单阐述。1.1 三维人脸技术三维人脸技术属于图形学的范畴，在人脸合成领域中，尤其是人脸动作或身份的合成，主要借助三维人脸重建与三维人脸形变技术，通过建立人脸的三维模型并对其形变或改变身份参数，渲染出合成的人脸图像。三维人脸技术是人脸合成领域不可或缺的基石之一，因此本节将对其进行简要介绍，包括三维人脸重建与形变的技术原理。1.1.1 三维人脸重建三维人脸重建旨在建立人面部或头部的三维模型，是图形学领域的基本问题。在以往研究中，借助高分辨率扫描设备实现三维重建的方法虽然能够获取精细的三维人脸模型Blanz等人深