面部表情识别 - read.ppt

目前面部表情识别的主要方法： 基于模板匹配的面部表情识别方法 基于神经网络的面部表情识别方法 基于规则的人脸面部表情识别方法 基于随机序列模型的面部表情识别方法 其他方法，比如支持向量机，小波分析等 面部表情识别：一般可描述为给定一个静止人脸图像或者动态的人脸图像序列，利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情，研究内容包括以下三方面： 人脸检测:即从各种不同的场景中检测出人脸的存在并确定其位置. 面部表情特征提取:即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。通常的表示方式包括几何特征、代数特征、固定特征模板、云纹图、3D网格等。 面部表情识别：就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较，得出相关信息。这一过程是选择适当的人脸面部表情表示方式与匹配策略 信息融合与面部表情分析 信息融合就是把来自多个信息源的目标信息合并归纳为一个具有同意表示形式输出的推理过程, 其基本的出发点是通过对这些信息源所提供的信息的合理支配和使用, 利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理, 以获得对被测对象具有一致性的解释和描述, 使得该信息系统获得比它得各个组成部分更优越的性能。 人脸面部表情识别包含大量的变量, 反映待识别目标各要素的非度量形式允许许多类型的表示技术, 每一种技术又可以采用不同的方法进行计算。 基于像素层融合的面部表情识别 这种方法对每幅图像预处理之前进行像素层融合后, 得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。 基于特征层融合的面部表情识别 这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量, 然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。 基于决策层融合的面部表情识别 这种方法对每个传感器都执行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别 基于几何特征的面部表情识别 基于均值主元分析的面部表情识别 基于Fisher线性判别的面部表情识别 基于神经网络级联的面部表情识别 网络级联的面部表情识别结构 BP网络的算法流程 网络级联的面部表情识别的实验结果 网络级联的面部表情识别结构 网络级联的面部表情识别流程 网络级联的面部表情识别的实验结果 在两个数据库上进行实验，从耶鲁大学的Yale Face 数据库中选取60幅人脸图像，共15个人，4幅/人，其中训练样本56幅，14个人，4幅/人，测试样本为剩下的4幅图像，1个人，4/人，通过随机变换训练样本和测试样本，我们重复15次这样的实验。从日本女性表情数据库中（JAFFE）选取120幅图像，共10个人，12幅/人，其中84幅图像作为训练样本，7个人，12幅/人，测试样本为36幅图像，3个人，12幅/人。通过随机变换训练样本和测试样本，我们重复10次这样的实验。 日本女性表情数据库上的实验 SOFM权值向量图 BP网络性能图 基于几何特征的面包表情识别 面部特征点 几何特征向量的形成 识别流程 实验结果 面部特征点 几何特征的形成 基于几何特征的面部表情识别流程 1.在人脸图像上标记24个面部特征点. 2.按照上表得到12个测量距离,对测量距离按上面的公式进行归一化处理得到12维局部特征 3.读入人脸库。读入每一个人脸图像几何特征数据并转化为一维的向量 ，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集。 4.把所有测试图像和训练图像进行比较，确定待识别的样本 的所属类别。本文采用最近距离分类器进行识别 两个数据库上的实验结果 Yale Face 数据库 日本女性表情数据库 基于均值主元分析的面部表情识别 主元分析 主元分析的改进：均值主元分析 面部表情识别流程 实验结果 主元分析 考虑 维图像空间的 个人脸图像 , 每个样本属于 类 中的一类, 考虑将 维特征空间投影到 维特征空间的线性变换。用表示列向量正交的矩阵。变换后的新的向量 ,由下式线性变换定义: 总离散度矩阵 : 其中 是所有样本的平均值，经过线性变换得到的新的特征向量 的离散度是 。PCA 选择最优的投影变换 :