双模态情感识别关键技术研究-信息与通信工程专业论文.docxVIP

隶劫大·嘤博士学位论文 隶劫大·嘤 博士学位论文 双模态情感识别关键技术研究 万方数据 I通SEARCH I通SEARCH ON KEY TECHNOLOGIES IN BIMODAL EMOTION RECOGNITION A Dissertation Submitted to Southeast University For the Academic Degree of Doctor of Engineering BY YAN Jingjie Supervised by Prof．ZHENG Wenming School of Information Science and Engineering Southeast University November 201 4 万方数据 东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书 而使用过的材料。与我一网工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名：f丑登查 日期： 丝!生!l氐兰! 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布(包括以电子信息形式刊登)论文的全部内容或中、英文摘要等部分内 容。论文的公布(包括以电子信息形式刊登)授权东南大学研究生院办理。 研究生签名：匹l盔i查： 导师签名 期：砂l妙、II。’t 万方数据 摘要摘要 摘要 摘要 人脸表情、语音和身体姿态是人类最重要的三种情感表达方式，通过研究这三种 情感表达方式中的一种或几种，可以有效分析和识别人类的内心情感状态。近年来， 人脸表情识别、语音情感识别、身体姿态情感识别、基于人脸表情和身体姿态的双模 态情感识别、基于人脸表情和语音的双模态情感识别以及其他多模态情感识别已经成 为计算机视觉、情感计算、模式识别和社会信号处理等领域的主要研究内容，受到了 国内外研究人员的大量关注。到目前为止，单模态情感识别和多模态情感识别都取得 了较多的研究成果，在很大程度上促进了情感分析和识别技术在人类行为分析、公共 安全以及早期儿童教育等领域的广泛应用。本论文主要研究了双模态情感识别中的特 征提取、特征降维和特征融合等关键问题，并讨论了情感识别中的特征选择问题以及 噪声和遮挡问题。论文的研究内容主要包括以下四个方面： (1)研究了情感识别中的特征选择。针对局部保持投影(LPP)方法不能进行情 感特征选择的问题，提出了一种基于回归的稀疏局部保持投影(SLPP)方法，分别 用于语音情感识别和人脸表情识别。SLPP方法是在原始LPP方法的最小二乘回归式 子上增加LASSO正则项，来对语音情感特征和人脸表情特征进行特征降维和特征选 择。SLPP方法不仅可以刻画情感特征的内在流形结构，还可以去除无用的情感特征， 从而提升了情感识别的实验效果。SLPP方法在JAFFE人脸表情库、POFA人脸表情 库、Berlin语音情感库、eNTERFACE’05库和FAU Aibo情感库上都取得了较好的 实验效果，其平均识别率高于LPP方法，说明了特征选择在人脸表情识别和语音情 感识别中的有效性。 f2)研究_r情感识别中的鲁棒特征降维。针对传统LPP方法应用于情感识别时缺 乏鲁棒性的问题，提出了基于回归的鲁棒局部保持投影(RRLPP)方法，来有效处理 情感识别中的噪声和遮挡问题。类似于鲁棒主成分分析(RPCA)方法、鲁棒回归(I冰) 方法和低秩约束线性判别分析(LRLDA)方法，RRLPP方法的基本思想也是通过同 时引入情感样本矩阵的低秩项和稀疏项来克服LPP方法中存在的不足，进而提高情 感识别的鲁棒性。在Multi—PIE人脸表情库上的测试结果表明，RRLPP方法可以有效 去除人脸表情图像中的噪声和遮挡，同时也能取得比非鲁棒方法更高的人脸表情识别 率。 (3)研究了基于视频的人脸表情和身体姿态双模态情感识别。提出了一种基于多 类典型相关分析(MCCA)的双模态情感识别方法。该方法首先分别提取两种模态的 Harris空时特征以及情感语义特征，然后采用MCCA方法建立人脸表情Harris空时 特征、身体姿态Harris空时特征和情感语义特征的最d-乘回归模型，进而有效提取 万方数据 东南大学博士学位论