基于语音和人脸的情感识别研究-通信与信息系统专业论文.docx

万方数据 万方数据 RESEARCH ON EMOTION RECOGNITION BASED ON SPEECH AND FACIAL EXPRESSION A Doctor Dissertation Submitted to University of Electronic Science and Technology of China Major: Communication and Information Systems Author: ZHANG Shiqing Advisor: Prof. LI Lemin School: School of Communication and Information Engineering 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 作者签名： 日期： 年 月 日 论 文 使 用 授 权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 情感识别是情感计算领域中的一个重要分支，是当前信号处理、模式识别、 人工智能、人机交互等领域的研究热点。由于情感识别是一个多学科交叉的复杂 研究课题，尚存在诸多问题有待解决，尤其在特征提取、特征降维、识别方法以 及多模态情感信息融合等方面还有待更深入地研究。 情感语音和人脸表情是人类表达情感的最主要的两种方式。本论文正是针对 基于情感语音和人脸表情的情感识别方面的关键技术做了探索，提出了若干改进 算法应用于情感识别。本论文的主要内容为： 1．综述了语音情感识别和人脸表情识别两个方面的研究历史及现状，概述了 其中的重点和难点，如情感数据库、情感特征提取与降维、以及情感的分类算法 等。 2．研究适用于语音情感特征数据的非线性降维算法，给出一种改进的监督局 部线性嵌入（Improved-SLLE）算法。为了克服 SLLE 算法的不足，提出一种能够 提高 SLLE 算法所产生的低维嵌入数据的判别力，并具备最优泛化能力的改进 SLLE 算法。该算法对提取的语音韵律特征和音质特征作非线性降维处理，从而在 低维的嵌入特征空间里实现语音情感识别性能的改善。 3．研究适用于语音情感特征数据的基于核思想的非线性降维算法，提出一种 核判别局部线性嵌入（KDLLE）算法。为了融合核方法和局部线性嵌入（LLE） 算法，通过设计一个核判别距离，并在再生核 Hilbcrt 空间（RKHS）上实现重构 误差的最小化，从而提出一种具有判别性质的核判别局部线性嵌入算法。该算法 用于语音情感特征数据的非线性降维，不仅取得了比 LLE 更好的低维可视化效果， 而且也表现出优越的语音情感识别性能。 4．研究语音情感的连续性动态变化的跟踪技术，提出一种基于“激发维-效价 维-控制维（AVD）”三维连续空间模型的语音情感估计方法。根据情感维度表示理 论，情感可定义为三维连续空间模型（AVD）上的坐标点。每个 AVD 坐标点就可 以唯一地标识某一种离散的情感类型。通过采用回归方法对情感语音的 AVD 坐标 值的连续性变化进行预测估计，从而将针对离散情感的语音情感识别问题转化为 针对连续性情感变化的语音情感估计问题，以便达到对语音情感表达的连续性动 态变化进行追踪的目的。 I 摘 要 5．研究基于压缩感知理论的鲁棒性人脸表情识别技术，给出一种基于稀疏表 示的人脸表情识别新方法。首先对要识别的受到腐蚀或遮挡的测试样本表情图像 寻求其稀疏表示，然后采用压缩感知理论求解其最稀疏的解，最后根据所求取的 最稀疏解信息进行表情分类。在提取原始像素、局部二元模式（LBP）与 Gabor 小波三种人脸表情特征之后，该方法可用于实现鲁棒性的人脸表情识别。实验结 果表明，该方法不仅具有优越的人脸表情分类性能，而且表现出良好的鲁棒性。 6．研究融合语音和人脸的多模态情感识别机制。首先分别提取能够反映情感 语音和人脸表情的特征参数，然后采用两种多模态信息融合策略：特征层融合和 决策层融合，用于实现多模