基于神经辐射场的高质量人脸语音驱动方法.pdfVIP

  • 7
  • 0
  • 约1.06万字
  • 约 9页
  • 2023-06-08 发布于四川
  • 举报

基于神经辐射场的高质量人脸语音驱动方法.pdf

本发明提供了一种基于神经辐射场的高质量人脸语音驱动方法,包括以下步骤:利用基于文本的语音识别模型对视频同步的语音信息进行特征提取,获得提取后的语音特征;对初始人脸说话视频集合逐帧进行分割;使用预训练好的三维人脸重建模型估计每帧人脸的姿态信息;利用多层感知器学习针对目标图片的神经辐射场模型;将所述语音特征作为条件信息,采用神经渲染的方式生成当前视角及语音条件下的图片。由基于神经辐射场训练的人脸说话模型,具有隐式表示三维人脸人体位移,包括刚性和非刚性运动的能力。由于神经渲染支持不同射线角度和不同密度

(19)国家知识产权局 (12)发明专利 (10)授权公告号 CN 112887698 B (45)授权公告日 2022.05.17 (21)申请号 202110158687.1 G06V 40/20 (2022.01)

文档评论(0)

1亿VIP精品文档

相关文档