基于受限玻尔兹曼机的面部运动识别方法研究-仪器仪表工程专业论文.docxVIP

万方数据 万方数据 Classified Index: TP391.4 U.D.C: 621.3 Dissertation for the Master Degree in Engineering RESEARCH ON FACIAL ACTIVITY RECOGNITION BASED ON RESTRICTED BOLTZMANN MACHINE Candidate： Tong Shaomin Supervisor： Prof. Zhao Yongping Academic Degree Applied for： Master of Engineering Speciality： Instrument Science and Technology Affiliation： Dept. of Automatic Test and Control Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 面部表情是人类表达情感最重要的方式，如果能让计算机按照人类自然的 方式理解人的情感状态，根据人的需求、习惯主动地为人类服务，这将从根本 上改变人和计算机的关系，改变人类的生活方式。在过去的几十年里， 人面部 运动识别技术引起了学术界的广泛关注并积累了大量的成果，但大量实测经验 表明，人面部运动识别技术还远远达不到实际应用的程度，尤其是现实环境中 光照、遮挡等造成的图像不稳定性、不同种族和性别的面部差异以及人类过于 丰富的表情内容都给面部运动识别带来了诸多困难和极大的挑战。本文将针对 上述问题进行深入 研究，包括人面部 特征点追踪、自然 人面部运动单 元 （AU）识别等。主要研究工作包括： 分析线性模型在建模非线性面部形状时存在的缺陷，并在此基础上对面部 特征点的追踪流程进行进一步的探讨和改进。针对常规线性先验模型不易捕捉 大 幅 度 表 情变 化 时 的 面 部 特 征 点问 题 ， 研究并 构 建 基于 高斯 受 限 玻 尔 兹 曼机 （GRBM）的面部特征点形状先验模型。此方法采用 GRBM 建模面部特征点 间的深层形状关系，通过 吉布斯（Gibbs）采样追踪面部特征点的具体位置 ， 使面部特征点的观测值受到形状先验模型的约束，从而减小追踪结果的误差。 分析独立识别面部运动单元（AU）时存在的问题，明确了面部运动单元 之间的语义关系在其识别过程中的重要作用。针对当前研究只能建模部分成对 AU 间的相互关系，而忽略了 AU 全局关系的问题，提出基于受限玻尔兹曼机 （RBM）的面部运动单元识别模型。该模型充分利用 RBM 层间全连接的结构 特征， 以 及无 监 督 的 学 习 特 性 ， 从而捕捉 到 面 部 运 动单 元 之 间 的 全 局 语 义关 系，进而利用这种语义关系修正面部运动单元的观测值，提高面部运动单元的 识别准确率。 最后，本文合理地设计了面部特征点追踪实验和面部运动单元识别实验， 在公开数据库上验证本文所提出的先验模型的有效性和通用性，并和当前发展 状况比较，证明所提出的方法的优越性。 关键词：受限玻尔兹曼机；面部特征点；面部运动单元；先验模型 I - Abstract Facial expression is the most important way for human to express their emotion. Only if computer analyze human’s facial activity accurately, can computer or robot understand human’s emotion, and do Human-Computer Interaction or Artificial Intelligence achieve truly. However, the technology of facial activity recognition has been taken lots of attention in decades, and has accumulated a large number of achievements, it is still far from application. A great number o f difficulties and challenges, such as the uncertainty of images caused by illumination and occ