解密：智能美妆和动效自拍背后的技术.pdfVIP

解密 ：智能美妆和动效自拍背后的技术 本文作者主要介绍了人脸识别系 的三大组成部分 ，并对手机相机能自动美颜的原因进行了 深度剖析。 这是一个“看脸”的时代 ，一谈人脸技术 ，大家最为熟知就是人脸识别。该技术在金融、社保、教育 、安防等领域表现活跃 ，成为A I技术领域的明星。优图微信公众号之前也重点介绍过优图人脸识别 ，本文主要介绍一些背后默默支持人脸识别的技术。 一般而言 ，一个完整的人脸识别系 包含三大主要组成部分 ，即人脸检测、人脸配准以及人脸识别 。三者流水线操作 ：人脸检测在图像中找到人脸的位置 ，接着人脸配准在人脸上找到眼睛、鼻子、 嘴巴等面部器官的位置 ，最后人脸识别抽取特征与既有人脸比对计算相似度 ，确认人脸对应的身份 。 图1 人脸识别流程 1. 人脸配准简介 人脸配准 （Face A lignment ）又称人脸特征点检测与定位。人脸特征点不同于角点或SIFT 特征点等 通常意义上的图像特征点 ，人脸特征点通常是一组由人工事先定义的点 （见图2 ）。根据不同应用 场景 ，特征点有不同的数目 ，例如5点 ，68点 ，82点等。 图2 人脸特征点检测与定位中常用的目标检测点 除了在人脸识别系 中起关键作用之外 ，人脸配准技术也在3D人脸建模 ，人脸动画 ，人脸表情分析 ，人脸美化与虚拟化妆 ，人脸自拍动效等领域得到了广泛的应用。打个小广告 ，优图人脸配准跟踪 技术性能卓越 ，主流手机单帧处理速度可达到3ms以内 ，已经在“天天p图-动效自拍”、“手机Q Q-短 视频”、“手机Q Q-视频聊天”“手机Qzo ne-动效相机”等应用场景落地。 图3 人脸美化与虚拟化妆 2.人脸配准研究现状 传 人脸配准研究 和其他人脸技术类似 ，光照、头部姿态、表情等的变化 ，以及遮挡都会很大程度影响人脸配准的 精度。但是人脸配准也具有自身特点 ，首先特征点描述了人脸的结构 （轮廓和五官 ），人脸结构是 完整稳定的 ，五官相对位置固定 ；其次 ，头部姿态、表情等变化造成的特征点位置变化明显。传 人脸配准研究需要一直尝试寻找更加精准的特征描述来表达这种既确定又变化的点的组合 ，再根据 描述符选择适当的优化求解方法 ，从而定位人脸特征点。 最直接被采用的特征描述符是颜色、灰度 ，利用肤色的不同对人脸各部分进行检测定位。 稍复杂些 可选择各种纹理特征描述 ，如基于类 aar纹理特征和A daboost 训练级联分类器的人脸配准。以上 特征描述都没有考虑特征点之间的位置关系 ，因此不具备维持合理的人脸结构。主动形状模 型 （A ct ive Shape Models, A SM ）和主动外观模型(A ct ive A ppearance Model, AA M)可以同时表达 纹理和形状 （shape ）两种特征。 二者的形状特征都由点分布模型 （Po int Dist ribut io n Model, PDM ）来表达。图4 为600张人脸图像 中人脸特征点的 计分布图 ，红点表示各特征点的均值。A SM的每个特征点的纹理特征是分别表 示的 ，通过计算特征点周围邻域纹理信息生成每个特征点对应的响应图 （Respo nse Map ）。图5中 蓝色圈定区域用于计算响应图 ，红点指示实际人脸特征点位置。AA M使用整体人脸来描述纹理特征 ，通过将人脸特征点位置变换到标准形状上 ，得到与形状无关的人脸纹理,并基于主元分析方法对形 状无关的人脸纹理进行建模。 深度人脸配准研究 从2006年开始 ，深度神经网络已经逐步在计算机视觉、语音识别和自然语言处理等多个领域取得了 前所未有的成功 ，同样也给人脸配准研究带来了习习春风。学者们无需再挖空心思构建各种繁琐复 杂的人脸描述符了。目前学术界工业界比较认可的深度人脸配准方法有两类 ：级联卷积网络人脸配 准(Cascade CNN) 和多任务深度人脸配准。 如图6所示 ，Cascade CNN包含三级 ，每级包含多个卷积网络。第一级给出一个初始点位置估计 ， 在此基础上后两级精细调整特征点位置。多任务配准将配准与其他相关人脸属性的训练同时进行。 与脸部特征点相关的属性包含头部姿态 ，表情等 ，比如笑脸的嘴部很可能是张开的 ，正面脸特征点 则对称分布。多任务有助于提升特征点检测定位精度。然而不同的任务会有不同的收敛速度和难度 ，训练难度加大。目前学界提供了两种解决方案调整不同的任务的训练进程 ：任务提早终止准