自发表情识别中干关键问题研究.pdf

摘 要 摘 要 人脸表情是人类情感信息交流的重要方式之一。表情识别已成为拟人化的新 型人际交互模式研究中的关键课题之一。目前，国内外有多所研究机构和高校的 研究人员采用不同的方法对人脸表情识别相关技术和算法进行了探索，取得了一 定的成果。但总的来说，人脸表情识别还处于实验室阶段，大部分的研究是针对 人为表情进行的。人为表情外观表现生硬，变化单一，并且与人自发的表情差距 较大，因此，针对自发表情的研究有利于推进表情识别的实用化进程。 本文针对自发表情的特点，提出了三种自发表情识别方法，并将自发表情识 别应用于视频情感语义隐性标注中。具体工作如下： （1） 提出了一种基于头部运动的自发表情识别方法。方法中，我们首先使 用人眼定位算法，定位表情起始帧和夸张帧中瞳孔位置，接着根据瞳孔位置和起 始帧夸张帧帧差提取五种头部运动特征；其次使用主动外观模型（AAM ：Active Appearance Model ）算法在夸张帧提取三十种外观特征；最后使用最小序列优化 算法（SMO：Sequential Minimal Optimization ）进行分类识别。实验结果表明： 头部运动特征对于恐惧表情有比较好的区分度；头部运动可以单独应用于自发表 情识别，也可以在使用外观特征识别表情时加入头部运动特征提高识别率。 （2 ） 提出了基于头部运动的态度识别方法。方法中，首先使用人眼定位算 法，在每一帧定位瞳孔位置；然后计算双眼中心坐标；如果连续帧双眼中心在x 方向位移大于在y 方向位移则判定为点头即肯定态度，否则判定为否定态度；最 后，根据所有连续帧结果使用投票算法得到最终识别结果。实验结果表明：该方 法可以实时有效的识别用户态度。 （3 ） 提出了基于特征点追踪算法的自发表情识别方法。方法中，首先根据 人眼定位结果将表情序列进行归一化并在起始帧手工标记23 个特征点作为追踪 的起始点；其次，使用Kalman 滤波器进行特征点追踪；接着，根据特征点的坐 标，提取了特征点位移和特征点间距变化两种特征；最后将特征输入隐马尔科夫 模型进行分类识别。实验结果表明：基于Kalman 滤波器的特征点追踪算法能够 取得较好的结果；基于特征点间距变化特征的识别效果明显好于基于特征点位移 特征；自发表情识别率低于人为表情。 （4 ） 提出了基于自发表情识别的视频情感语义隐性标注方法。方法中采用 了第一个工作中的表情识别方法识别用户在观看视频时的表情，并以此推理用户 所观看视频的情感语义标签。实验结果表明：基于可靠的表情识别方法，表情可 以用于推理情绪，并以此给视频提供情感语义标签。 I 摘 要 关键词：自发表情 人眼检测 头部运动 特征点追踪 态度识别 情感语义 隐性标注 II Abstract ABSTRACT Facial expression is one of the most important ways for people to communicate their feelings with each other. Facial expression recognition has been one of the key issues in the research of personification human-computer interaction. Presently, there are many research institutions and colleges, both at home and abroad, who have proposed many methods to solve this problem, and some progress has been made. However, expression re