面向普通用户的3D虚拟人脸动画.pdfVIP

第 27卷 第 3期 计算机辅助设计与图形学学报 V0l1．27NO-3 2015年 3月 JournalofComputer-AidedDesign ComputerGraphics M ar．2O15 面向普通用户的3D虚拟人脸动画 罗常伟n，江 辰 ，，李 睿 ，，於 俊 ，，汪增福 ，，) (中国科学技术大学 自动化系 合肥 230027) (中国科学院合肥智能机械研究所仿生感知与控制研究中心 合肥 230031) (中国科学技术大学语音及语言信息处理 国家工程实验室 合肥 230027) (zfwang@ustc．edu．an) 摘 要：为合成真实感人脸动画，提 出一种实时的基于单摄像头的3D虚拟人脸动画方法．首先根据用户的单张正面 人脸图像重建用户的3D人脸模型，并基于该人脸模型合成姿态、光照和表情变化的人脸图像，利用这些图像训练特 定用户的局部纹理模型；然后使用摄像头拍摄人脸视频，利用特定用户的局部纹理模型跟踪人脸特征点：最后由跟 踪结果和3D关键形状估计Blendshape系数，通过Blendshape模型合成的人脸动画．实验结果表明，该方法能实时合 成真实感 3D人脸动画，且只需要一个普通的摄像头，非常适合普通用户使用． 关键词：人脸动画；人脸特征点跟踪；Blendshape模型；表演驱动 中图法分类号：TP391 3D VirtualFaeialAnimationforGeneralUsers LuoChangwein JiangChen1， LiRui， ，YuJun，andWangZengfu12’3) ， ， (DepartmentofAutomation,UniversityofScienceandTechnologyofChina,Hefei230027) (ResearchCenterforBio—mimeticSensingandControl,InstituteofIntelligentMachines，ChineseAcademyofSciences，Hefei 230031) (NationalLaboratoryofSpeechandLanguageInformationProcessing,UniversityofScienceandTechnoloyg ofChina,Hefei 230027) Abstract：Torealisticallyanimatea3D virtualface．weproposearea1．timevideo．drivenfacia1animationmethod． Firstly,wereconstructtheuser’S3D facemodelrfom asinglerfontalfaceimage，andsynhtesizeasetoffacial imageswithdifferentpose，illum inationandexpressionbasedonthisfacemode1．Thesyntheticimagesareused totrainauser-specificlocaltexturemode1．Then，avideocameraisusedtorecordthefacialperformanceofhte user．Facialfeaturepointsare~ackedusingaconstrainedlocalmodelbasedmethod．Finally,facialtrackingre— suitsarertansformedtoBlendshapecoefficientsbasedon3D keyshapes，andfacialanimationisgeneratedby usingBlendshapeinterpolation．Experimentsshow thatOl11methodiseffectiveforrealisticfacialanimationsny - thesis．Moreover,themethodonlyrequiresawebcameraandcanbeeasilyusedbyanordinaryuser． Keywords：facialanimation；facialfeaturertacking；Ble