特征点深度值估计报告人朱珠2012年8月30日-模式计算与应用试验.PPT

实验背景 问题描述 给定包含m个三维人脸形状模型的训练集 ,令三维模型 上与人脸图像上的特征点 ，k是特征点的数目）相对应的顶点为 。 最优匹配法 以训练集为先验知识，估计平面特征点 的深度 信息最简单、最直观的方法是在训练集中找到一个人脸模型 ，使得其顶点 的二维坐标 与 最接近，即： 然后，将 的第三维 作为 的深度值，该方法称为最优匹配法（Best Matching,BM）。 插值拟合函数 为了避免直接利用空间顶点坐标产生的误差，采用插值拟合函数（Interpolation Fitting Function,IFF）是较好的选择，它相对BM更加稳定。 将训练集中所有人脸的第t个顶点当作空间散乱点集合 ，用一个拟合函数f(p)对这些点进行拟合。 基于稀疏线性模型的优化算法 为了获得相对准确、稳定的估计结果，本文提出一个基于稀疏线性模型的优化算法（Sparse Linear Model based Optimization,SLMO）, 把所有特征点看成一个整体，将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量中缺失的数据（即所有特征点的z值）进行整体估计。 基于稀疏线性模型的优化算法 在已知三维人脸上k个特征点的情况下，用特征点集何来表示人脸结构，把它们进行线性组合构造一个稀疏形状向量： 其中，上标‘L’表示向量是由特征点（landmark）组合而成的。从而，测试人脸上的特征点向量的估计值 可以由训练库中所有人脸的稀疏形状向量经线性组合而成： （2.1） 其中， ，m是训练库中三维人脸的数目。 基于稀疏线性模型的优化算法 对 进行PCA变换得到特征矩阵 以及相应的特征值 ，其中 。用特征矩阵代替原始形状向量空间 ，式（2.1）可以改写为： （2.2） 其中 是组合系数，平均稀疏向量 . 根据PCA理论，系数 的方差 。 基于稀疏线性模型的优化算法 从而，我们可以用特征值对特征矩阵进行缩放： 从而系数方差 被归一化，即 。采用缩放后的特征矩阵，式（2.2）可以改写为： （2.3） 基于稀疏线性模型的优化算法 下面讨论如何根据稀疏线性模型进行特征点的深度值的估计。 从式（2.3）可知，在已知 （通过训练库变换获得）的情况下， 是计算测试人脸特征值坐标的关键。对于二维照片而言，特征点的坐标分量z是未知的，从而 未知。因此，只有通过已知的二维信息来求解 。给定二维人脸照片上的一组（数目为k）特征点 ， ，将其进行组合成向量： 基于稀疏线性模型的优化算法 另外，从平均稀疏向量可以提取二维稀疏形状向量 如下： 其中 是三维顶点 的前二维数据构成的向量。类似地，从每三行中提取前两行数据，我们可以得到 的二维版本 。将 ， 和 代入式（2.3）,可得： （2.4） 基于稀疏线性模型的优化算法 从而，从式（2.4）计算 可以通过最优化方法求解，令目标函数 因为式（2.4）只是（2.3）的二维表示形式，很显然式（2.4）的解并不能保证 最小化。为了对优化结果进行约束，使其偏离平均值不大，我们添加一个罚函数对 的范围进行约束，从而目标函数变为： 基于稀疏线性模型的优化算法 为