移动设备上实时动画系统.pptx

张超 浙江大学周昆教授 PREFACE 基于实际表现的面部动画系统，它能够以实时28fps在移动设备上运行，该系统的一个关键组件是一个新型的回归算法，它能够从一台普通的摄像机的二维视频图像帧中准确地推断面部运动参数。demo 摘要 01 相关研究的现状 1、基于特殊设备（例如面部标记点）的面部动画技术已经在电影和游戏制作方面取得了巨大的成功 ； 2、Weise等人（参考文献[2]）开发了一个实时的面部动画系统，其利用了Kinect 的RGBD摄像头中获取的深度和色彩信息。； 3、曹等人（参考文献[1])为普通用户提出了一个更实际的解决方案，用户只需要单个普通摄像头即可，而大多数的移动设备都能满足这个条件。 02 本篇论文的两大贡献点 （1）曹等人在参考文献[1]中通过两步程序来跟踪面部动画（首先回归各面部标 定点的三维位置，然后计算头部姿势和表情系数）。而我们直接回归头部姿态和 表情系数。这样一步到位的方法可以大大减少回归目标的维度数，在保证跟踪精度 的前提下显著地提高跟踪过程的性能表现。 （2）我们进一步提出采集在不同的照明环境下的用户的训练图像，并利用数据来 训练独立用户个体的回归，这样可以鲁棒地解决使用移动设备时频繁发生照 明变化而出现的问题。 整体思路 我们提出学习一个能从2D视频图像帧中直接回归面部动作参数的用户回归因子，将一张图像I和它的面部动作参数的一个初步猜测 作为输入，迭代地更新 的值，然后输出最终的动作参数。 整个学习过程共分为以下 几个步骤： 1.制备训练数据 （1）图像的拍摄和标记 （2）用户混合外形的生成 第一部分：生成不同用户的回归 具有自动定位地标记点的（a）（c）的两幅拍摄图像以及有手动校正标记点的（b）（d）图像。 （3）运动参数的还原 最后将每张输入图像I的动作参数串联起来，形成一个46+4+3=53维向量： 2.创建训练集 对于每个图像和计算的运动参数向量 ，我们构造 的一组增广的参数向量作为它在回归过程中的初步猜测。每个增广的参数向量表示为 ，与之结合我们将一个训练元组构造成 3.回归训练，生成面部动作回归 用这N个训练数据 ，我们基于图像I的像素强度训练一个从 到 的运动参数回归函数。我们使用参考文献[1]中的两级推动回归算法。在第一级中，我们根据当前的运动参数重建三维标记，并对图像I上的像素进行采样来构造外观向量，在第二级中，我们建立一个基于这个外观向量的回归序列，并通过最小化 和 之间的误差来更新当前的运动参数。 核心：（1）生成外观向量 （2）特征选取（3）蕨类结构 4.运行时进行回归，将视频图像帧和前面的帧的面部动作参数作为输入，同时计算当前帧的面部动作参数 通过3中训练的面部运动回归器，我们可以实时计算出输入视频帧I的面部运动参数。我们从前一帧的回归结果 开始，从训练集中找到类似于运动参数 的运动参数作为回归的初始参数，并通过回归器对它进行更新。最终，我们计算所有更新的参数向量{ }的中值作为最后的结果。 第一个策略是用来自复杂环境的训练数据训练回归器。我们收集不同环境下的用户设置图像。在我们的实验中，如图所示，我们囊括了办公室中，户外阳光直射下以及昏暗酒店房间中的的图像。 第二部分：解决急剧光照变化的 两种策略 第二个策略：由于移动相机经常执行白平衡，这改变了图像的整体强度，使整个图像变暗或变亮。由于我们比较了从图像中获取的索引对特征，这些特征是与像素强度相关的绝对值，所以全局调整将使强度值在范围内不一致。为了处理这个问题，我们在训练和运行测试过程中对外观向量进行直方图归一化处理。 左：归一化前，大多数像素位于直方图中的黑暗区域中，脸部显得很暗; 右：归一化后，直方图均匀分布，人脸区域分布变得更加明亮。 实验结果 我们已经在一台拥有英特尔酷睿i7 (3.5 GHz) CPU、能录制30 fps的640×480图像的普通网络摄像头个人电脑上实现了该系统。实时算法在此设备上运行速度超过200fps，比[1]快8倍。我们还测试了摩托罗拉MT788手机上的回归算法，该手机自带英特尔Atom 2.0 GHz CPU和Android 4.0操作系统。性能依旧强大，大约在30 fps。 我们与参考文献[1]中的算法对训练，测试中的时间消耗和不同的回归目标的内存消耗分别进行比较，可