AAM特征提取.ppt

报告人：许艳侠 基于AAM的唇部特征提取 引言 AMM相关知识介绍 AMM特征提取 针对发音O一9的实验及其结果 展望和部分参考文献 引言 唇读(lip一reading) 源于听力障碍者或者听力受损者与听力正常人进行交流的一种技巧。而事实上正常人也在使用这种手段，只是数量和意识上有所差异。唇读就是通过人在说话时的口型变化来判断说话内容。 主动外貌模型AAM 1989年Yuille提出了参数化的可变模板[20],可变模板应用于定位的过程是先将模板移动到目标对象附近，然后改变其位置、尺寸、旋转角度来使能量函数达到最小。该方法的出现给AAM(Active Appearanee Model的产生奠定了理论基础。AAM的直接前身是 ASM(Active Shape Model)算法[37]，该算法与可变模板类似，利用形状参数来构成模型，在此基础上又使用了PCA算法来实现保证描述精度的情况下降低模型的参数维数，但该算法只单独使用了目标对象的形状信息，没有使用其纹理信息，所以识别率并不高。随后Cootes在此基础上继续提出了主动外貌模型AAM[38] . 引言 AAM相关知识介绍 形状标记 形状的定义，直观上看就是物体具有特定的表面配置。而这里的形状是广义上的形状，它可以是任意维数包括一维、二维、三维等，而且维度的物理意义可以不总是用来表示空间坐标，还可以用来表示时间以及象素灰度等，故有以下几种情况: 1.当使用一维形状时，可以是沿着某条直线的点坐标，或是图像中某个特定位置的灰度值。 2.当使用二维形状时，可以是二维空间点坐标，或是一个空间点坐标和一个时间信息。 3.当使用三维形状时，可以是三维空间点坐标，或是二维空间点坐标和一个时间信息。形状还有很多其他的表示，但是在图像识别领域，因为图像时是用二维表示，所以这里的形状直接采取二维形状，并且是二维空间坐标点。这些点按一定的顺序连接起来就构成了实际意义上的形状，如图2一1所示的右手形状，图中从不同的位置，尺寸，旋转角度几个方面做了调整后的效果。 AAM相关知识介绍 AAM相关知识介绍 形状对齐 在有N张标记好的样本图像的训练集中，假设每幅图像用n个标记点表示形状，其中每个标一记点用二维空间坐标表示，其表示如式(2一l)，在建模之前必须要做相关的预处理操作包括消除位置、尺寸和旋转角度对图像特征的影响，也就是将其形状集对齐到同一个坐标系中，这种预处理操作就叫形状对齐[41]。其中衡量某个形状与平均形状对齐的标准可以用公式(2一3)进行计算。 AAM相关知识介绍 任何图像可以在位置、尺寸和旋转角度几个方面发生变化，如图2一2所示，(a)图中点1的坐标与(b)图的点1的坐标在位置、尺寸和旋转角度上发生了变化。(c)图则是把两个形状叠合在一起，可以清楚的看出形状m和形状n的普氏距离值较大。(d)图则是在经过形状对齐后的结果，把形状n经过一定平移，缩放以及旋转一定角度后放置在m上。 对齐的算法如下: 1.平移每幅图像以是每幅图像的重心在原点上。 2·选择一个样本作为均值的初始估计，并缩放使其 3一记第一个平均估计值为 作为默认参考坐标系。 4.将所有的形状与当前的平均值估计进行对齐操作。 5.重新计算平均值估计值 6.通过将新的均值与默认参考坐标系下 对齐，并缩放使其 7.如果收敛，则终止，如果不收敛，则返回步骤4。 AAM相关知识介绍 AAM相关知识介绍 建模 AAM模型建立包括形状建模、纹理建模和混合建模三个阶段，这里的混合模型就是外貌模型，它是形状与纹理的组合。在建模过程中标记点的标记方法有手动标记、自动标记以及半自动标记，其中手动标记是非常费时的，在实际使用中，通常要用自动标记和半自动标记加以辅助。 搜索 AAM搜索(也称拟合或匹配)是找出合适的模型参数，以使模型实例和样本实例尽可能的达到一致，我们可以将其视为一个优化问题:即根据一幅新图像和用模型参数合成所获得外貌模型，可以调整模型参数使实际图像与模型实例的误差最小。  搜索 我们可以使用下式表示差向量: 其中 表示图像灰度值向量， 表示合成模型实例的灰度值向量，要得到和图像匹配的最佳匹配模型，就要改变模型参数来最小化模型实例和样本图像之间的灰度差向量。实际上因为基于外貌模型参数相对较多，导致此问题是一个高维优化问题，我们一般选用迭代方法调整模型参数。搜索计算在AAM进行特征点定位中起着核心作用，这是因为只有通过搜索计算才能改变参数