基于MPEG-4的特定人表情脸像变形研究.pdfVIP

基于MPEG-4 的特定人表情脸像变形研究 戴振龙 朱海一 张申 贾珈 蔡莲红 (清华大学计算机系,北京,100084) 摘 要 人脸图像变形技术是人脸表情、虚拟说话人生成等高级应用的基础。在这篇论文中，我们提出了一种基于 MPEG-4 人脸动画框架的特定人脸图像变形算法，输入是一张中性人脸照片和一组人脸动画参数（FAP ），输出是对应 的人脸表情图像。首先，我们采用基于ASM 的人脸特征点提取算法，在输入的人脸照片中定位得到88 个关键特征点； 在此基础上，对标准人脸网格进行校准变形，进一步生成特定人脸三角网格；然后根据FAP 参数移动相应的面部关键 特征点及其附近的关联特征点；最后对发生形变的所有面部区域进行仿射变换，生成对应的人脸表情图像。为了实现 细微表情动作和虚拟说话人合成，我们还提出了一种眼神动作和口内细节纹理的生成方法。基于MOS 的主观评测实验 表明，利用该算法生成的表情脸像自然度得分为3.67 。虚拟说话人合成实验表明，该算法具有很好的实时性，在普通 PC 上的平均处理速度为15ms/帧，能够应用于实时视频处理和人脸动画生成。 关键词 人脸变形 人脸表情 MPEG-4 MPEG-4 Based Expression Morphing For Specific Human Face DAI Zhenlong, ZHU Haiyi, ZHANG Shen, JIA Jia, CAI Lianhong (Department of Computer Science, Tsinghua University, Beijing, 10084) Abstract Human face morphing is the foundation of face expression synthesis and talking avatar animation. In this paper, we propose an MPEG-4 based algorithm for human face morphing and expression synthesis. Our algorithm uses a picture of neutral human face and a group of Face Animation Parameters as input. There are four stages in our algorithm, feature points extraction, mesh generation for specific face, mesh points movement driven by FAPs, and face texture mapping. After these four stages, photos of specific expression are created. We also implement novel algorithms of eyeball movement and texture mapping inside the mouth. Perceptual evaluation shows that our algorithm can synthesize realistic and natural human facial expressions for various face models of different genders, ages and races. Meanwhile, our algorithm is real-time, so it can be used in the areas of real-time video and animation generation. Keywords Face morphing, Facial Expression, MPEG-4 文献[1] 中提出，MPEG-4 采用基于对象 1 引言 (Object-based) 的