基于3D的大姿态人脸对齐方法演示幻灯片.pptxVIP

基于3D的大姿态人脸对齐方法演示幻灯片.pptx

  1. 1、本文档共30页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
教学课件医学学院应用教学课件

03 点击此处添加标题 CONTENTS 03 结论 03 什么是人脸对齐(alignment)? 人脸对齐,即面部特征点定位,在人脸上找出需要的特征点的位置,比如鼻子左侧,鼻孔下侧,瞳孔位置,上嘴唇下侧等等点的位置。下图中白色点的位置。定位完这些点的位置就可以进行下一步的的检测(detection)和识别(identification)。 相关背景 03 基于2D的最小二乘法:通过最小化训练图像(input image)和形变模型 (morphable model)的均方误差来获得特征点位置。对于偏转角度小45度的中小姿态应用良好,但计算代价比较大。 基于CNN(卷积神经网络):大多数应用CNN的方法,计算性能获得了提高, 但仅检测较少的标注点(landmarks),限制了对面部形状的描述能力。 大姿态下的人脸校准的相关文献仍然比较少,多视角2D方法(multi-view framework)如TSPM和CDM利用不同角度人脸上的标注点来获得数据,计算代价(cost)比较高。其他基于3D的大姿态方法如3DMM要每张图片1min的计算代价,效率比较低。 现有对齐方法及局限性 03 本文需要解决的问题: 1、极端姿态下(如侧脸,偏转角度为90),一些特征点变了不可见。 2、不同姿态下的人脸表现(仰头、大笑)也存在巨大差异,这些问题都导致大姿态下面部特征点定位任务极具挑战性 相关背景 03 3DDFA(CNN): 人脸对齐,即面部特征点定位,在人脸上找出需要的特征点的位置,比如鼻子左侧,鼻孔下侧,瞳孔位置,上嘴唇下侧等等点的位置。下图中白色点的位置。 相关概念 03 卷积神经网络(CNN): 人脸对齐,即面部特征点定位,在人脸上找出需要的特征点的位置,比如鼻子左侧,鼻孔下侧,瞳孔位置,上嘴唇下侧等等点的位置。下图中白色点的位置。 相关概念 03 算法输入为100x100的RGB图像和PNCC (Projected Normalized Coordinate Code) 特征,PNCC特征的计算与当前形状相关,可以反映当前形状的信息;算法的输出为3D人脸形状模型参数; 算法核心思想 03 使用卷积神经网络拟合从输入到输出的映射函数,网络包含4个卷积层,3个pooling层和2个全连接层。通过级联多个卷积神经网络直至在训练集上收敛,PNCC特征会根据当前预测的人脸形状更新,并作为下一级卷积神经网络的输入; 算法核心思想 03 此外,卷积神经网络的损失函数也做了精心的设计,通过引入权重,让网络优先拟合重要的形状参数,如尺度、旋转和平移;当人脸形状接近ground truth时,再考虑拟合其他形状参数; 算法核心思想 03 由于参数化形状模型会限制人脸形状变形的能力,作者在使用3DDFA拟合之后,抽取HOG特征作为输入,使用线性回归来进一步提升2D特征点的定位精度。 算法核心思想 03 训练3DDFA模型,需要大量的多姿态人脸样本。为此,作者基于已有的数据集如300W,利用3D信息虚拟生成不同姿态下的人脸图像,核心思想为:先预测人脸图像的深度信息,通过3D旋转来生成不同姿态下的人脸图像,如下图所示: 实验验证 点击此处添加标题 TITLE HERE 顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 CLICK HERE TO ADD YOUR TITLE 顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 CLICK HERE TO ADD YOUR TITLE 顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 CLICK HERE CONSECTETUR ELIT 顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 CLICK HERE TO ADD YOUR TITLE 点击此处添加标题 TITLE HERE 添加标题 添加标题 添加标题 添加标题 标题数字等都可以通过点击和重新输入进行更改,顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 标题数字等都可以通过点击和重新输入进行更改,顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 标题数字等都可以通过点击和重新输入进行更改,顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 标题数字等都可以通过点击和重新输入进行更改,顶部“开始”面板中可以对字体、字号、颜色、行距等进行修改。 点击此处添加标题 TITLE HERE 顶部“开始”面板中可以对字体、字号、颜色、行距等进行修

您可能关注的文档

文档评论(0)

youngyu0329 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档