自适应权重的双模态情感识别 - 模式识别国家重点实验室.pdfVIP

自适应权重的双模态情感识别 黄力行，辛 乐，赵礼悦，陶建华 ( 中国科学院自动化所 模式识别国家重点实验室，北京 100080) 文 摘：情感识别是人机交互领域的重要问题之一。语音和脸部肌肉动作信息是用于情感识别的 2 个最重要的模 态。该文认为，在双模态情感识别中，给不同的特征赋予不同的权值有利于充分利用双模态信息，提出了一种基 于 Boosting 算法的双模态信息融合方法，它能够自适应的调整语音和人脸动作特征参数的权重，从而达到更好的 识别效果。实验表明，该方法能够更好的区分易混淆的情感状态，得到更高的情感识别率。 关键词：双模态情感识别；Boosting 算法；自适应权重 中图分类号：TP 3 近年来，情感识别的研究工作 [1][2][4][5][6] 一的特征向量中，然后再使用以分类回归树 [7][8][9][10]在人机交互领域中已经成为一个热点。过 （classification and regression trees, CART ）为弱 去很多的工作[5][10][11][12][13]都是集中在如何通过 分类器的强分类器，得到最终识别结果。在训练 单模态的信息，如语音或者人脸表情，得到当前 弱分类器的过程中，通过给每一个训练样本赋予 对象的情感状态。仅仅通过单模态信息来识别情 不同的权重，自动调整不同特征在双模态融合过 感有很多的局限性，因为人类是通过多模态的方 程中的重要性。实验表明，和以前的方法[6][7]相 式表达情感信息的。最近，基于多模态，尤其是 比，这种方法能够较好的区分易混淆的情感状态， 基于语音和人脸表情双模态的情感识别技术得到 得到更高的识别率。 了很大的发展。 目前，融合多模态信息的方法主要有2 种： 1 双模态情感识别框架 决策层的融合和特征层的融合。决策层的融合技 术是先把各个模态的信息提取出来，输入相应的 分类器得到单模态识别结果，然后用规则的方法 将单模态的结果综合起来，得到最终的识别结果； 特征层的融合方法则是将各个模态的信息提取出 来，将这些信息组成一个统一的特征向量，然后 再输入到分类器中，得到最终的识别结果。这 2 种方法各有优缺点。决策层的融合技术考虑了不 [6] 同模态对于情感识别重要性的不同，如文 认为， 在识别不同情感的时候，语音和人脸表情的重要 图 1 双模态情感识别框架 性不同，因此他们通过主观感知实验给语音和人 1.1 系统框架 脸表情信息赋予不同的权重。但是这种通过主观 系统由 3 部分构成，分别是声学参数提取模 感知实验得到的权重能否应用到其它的情况下是 块，人脸特征点参数提取模块和双模态特征向量 值得怀疑的。特征层的融合技术更接近人类识别 分类模块。该分类模块将双模态特征向量分为中 情感的过程，能更好的利用统计机器学习的技术。 文[7]将语音和人脸表情的信息综合成一个特征向 性、高兴、悲伤、愤怒、害怕和惊讶 6 种情感， 它由一系列的分类回归树模型组成，能够在训练 量，并使用支持向量机进行分类，得到最终的识 的过程中调整各个参数的重要性，从而获得更好 别结果。但是这种方法没有考虑到识别不同情感