人脸表情自动识别系统的研究以及实现.pptVIP

人脸表情自动识别系统的研究与实现 导师：赵政 学生：孙涵 提纲 研究背景及意义 国内外研究水平及存在问题 本文采用的技术及方法 工作进度安排 参考文献 研究背景及意义 人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分。在人类交往过程中，言语与表情经常是相互配合的。一些心理学家研究发现在人类进行会话交流传递信息时：话语内容占7%；说话时的语调占38%；而说话人的表情占55%，所以说表情在人类交往活动中起到了重要的作用。 因此对人类面部表情的识别与分析有重要的意义，它不仅将有利于我们开发更高效的人机交互界面，也是研究情感机器人，使之能表现、识别和理解人类的情感的工作起点。 国内外研究水平 人脸表情识别是人机智能交互的重要基础，该课题涉及图像处理、运动跟踪、模式识别、生理学、心理学等研究领域，是当前国内外模式识别和人工智能领域的一个研究热点。 关于表情分类与识别的研究工作可以分为基于心理学的和基于计算机识别的两类，在心理学方面，1971年，Ekman和Friesen对人类情绪进行了分类，提出6种基本情绪:高兴(happiness)、悲伤(sadness)、惊奇(surprise)、恐惧(fear)、厌恶(disgust),、愤怒(anger)，每种基本情绪都对应着一个独特的较为典型的脸部表情。在此基础上他们又提出了脸部运动编码系统(Facial Action Coding System，FACS)，将脸部肌肉运动划分为不同的运动单元(Action Units, AUs)，每种运动单元对应了不同的表情状态。;在计算机识别方面，最早是1978年，Suwa曾对选定的连续录像画面中脸部固定的20个点进行跟踪识别，并与典型模式进行比较以实现脸部表情识别。 目前在国际上对人脸面部表情的识别及其相关方向的研究主要有美国的麻省理工大学（MIT）、卡耐基梅隆大学（CMU）、马里兰大学（Maryland）、日本东京大学（Tokyo）等。在国内，也有很多大学和科研机构从事表情识别研究，主要有清华大学、哈工大、北京交通大学、中科院自动化所和计算所等。 表情识别的3个关键环节 自动人脸表情识别系统包括人脸检测，特征提取和表情分类3个关键环节. 在分析人脸表情和抽取特征数据之前，首先要进行人脸检测。检测到人脸之后将人脸从背景中分割出来，并进行尺寸，灰度等的归一化。之后的特征提取可以分为静态和动态图像2种情况。最后，要定义一些人脸情感类别并且设计分类的算法来进行人脸的表情分类. 人脸表情识别流程图 表情特征提取的主要技术 表情识别的关键在于表情特征提取的准确性和有效性上。 目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。 灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。 运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。 频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。 在具体的表情识别方法上，方向主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体法与局部法 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基于特征脸的主分量分析（Principal Component Analysis，PCA）法、独立分量分析法（Independent Component Analysis，ICA）、Fisher线性判别法（Fisher’s Linear Discriminants，FLD）、Fisher运动法（Fisher Actions）、隐马尔科夫模型法（Hide Markov Model，HMM）和聚类分析法。 局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。 几何法和容貌特征法 几何特征法是根据人的面部的各个部分的形状和位置（包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别不同的表情。重要的方法是：基于运动单元（AU）的主分量分析法。 在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是Gabor 小波。 当然，这三个发展方向不是严格独立，它们只是从不同角度来进行特征提取，都只是提供了一种分析表情的思路，相互联系，相互影响。有很多种方法是