人脸特征点定位及其应用 USTC.ppt

人脸特征点定位及其应用 姓名： 沈育平 学号： P导师： 董兰芳 二○○四年六月 整体介绍 ? 主要内容： ? 当前常用的特征点定位方法，主要介绍 AAM 。 ? 提出在人脸特征定位中基于肤色信息的 AAM 模型 的改进方法。 ? 介绍一个肖像画生成系统的设计及实现。 ? 人脸特征点定位的概念 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ 特征点定 位系统 常用的几种特征点 定位算法 ? 基于灰度及其变化信息 ? 基于可变形模板 ? 基于神经网络 ? 基于 Active Contour Model （ Snake ，主动 轮廓模型） ? 基于 Active Shape Model （ ASM ，主动形 状模型） ? 基于 Active Appearance Model （ AAM ，主 动表观模型） 由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法 ? 基于 AAM (Active Appearance Model) 模型 ? AAM 模型 常用的几种特征点定位方法 c Q g g c Q x x g s ? ? ? ? 　 s Q g Q 由控制参数矢量 c 控制 形状 和 纹理 的变化，调节 c 可以得到 不同的形状和脸部纹理，从而合成不同的人脸 调节 c 可以合成不同的人脸 形状 脸部纹理 轮廓变化模式矩阵 脸部纹理变化模式矩阵 精细定位 粗略定位 常用的几种特征点定位方法 ? AAM 搜索过程 原图像 得到粗 略定位 不断调整 C ，使 合成人脸的灰度 与图像灰度差达 到最小值 得到 精细 定位 由计算公式 可得各特征 点的位置 对每一个比例、 位置、旋转角度 进行迭代搜索 常用的几种特征点定位方法 ? AAM 搜索时间分析 粗略定位时间 精细定位时间 85.1% 14.9% 有很大的改进空间 基于肤色信息的 AAM 改进方法 ? 肤色模型 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ ? 采用 YCrCb 彩色空间进行分析 Y 反映的是图像的明度，故只 Cr,Cb 分量分 析可以不受图像的亮度影响。 ? 肤色像素在 Cr-Cb 空间中的分布相对很集中，可以 用 Gauss 分布来描述 ? 高斯分布 基于肤色信息的 AAM 改进方法 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ ? 肤色模型 ? 所考察的像素和肤色的相似度： 象素的矢量 与高斯分布中心的距离 基于肤色信息的 AAM 改进方法 ? ? ? ? ? ? ? ?? ? ? ? ) ( , 2 1 exp ) , ( 1 T T T M x M x E C x E M Cb Cr x m x C m x Cb Cr P ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ， ? 人脸特征点定位及其应用 －－ 沈育平 P◆ ? ? T Cb Cr x , ? 计算相似度 自适应阈值分割 （二值化） ? AAM 改进方法 ? AAM 的缺陷 对彩色图像进行特征点定位时无疑 忽略了色彩信息的作 用 ，可以充分利用肤色信息，使搜索过程加速。 ? 一种基于肤色模型的人眼定位方法 ? 眼睛在二值图像中的双孔结构 基于肤色信息的 AAM 改进方法 眼睛的双孔结构 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ ? AAM 改进方法 ? 基于肤色模型的人眼定位方法 基于肤色信息的 AAM 改进方法 计算相似度 使用自动阈值分割 算法进行二值化 对二值图进行去噪音处理，就是在以每一个肤色象素为 中心的 5*5 邻域内统计肤色象素的个数，超过半数时中心 点保肤色 ? AAM 改进方法 ? 基于肤色模型的人眼定位方法 基于肤色信息的 AAM 改进方法 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ 对二值图进行腐蚀 运算，去掉各区域 之间的细连线 用边缘跟踪算法 跟踪各区域的轮廓 对所有区域的轮廓 进行种子填充，得 到“掩盖图” 将二值图与“掩盖图” 求异或，即可得到 二值图中的所有孔 基于肤色信息的 AAM 改进方法 ? AAM 改进方法 ? 基于肤色模型的人眼定 位方法 ? 人脸特征点定位及其应用 －－ 沈育平 P◆ 获取候选眼，对每个 孔进行检测若满足以 下条件则为候选眼： 1. 平均亮度小于 80 2. 包围盒大小超过 阈值 D 获取候选眼对，将候选眼两两配对 若符合下列条件，则为候选眼对： 1. 两包围盒不相交 2. 两包围盒中心连线斜率不超过阈值 3. 两包围盒大小不超过一定范围 ? ? ? ? ? ? 0 0 1 , k k 对每个候选眼对进行模板 匹配，计算平均眼对灰度 与