情感识别总结.docVIP

情感识别总结 　　摘要：情感交互在人机自然交互的研究中受到了很大的重视，而情感识别是人机情感交互的关键，其研究目的是让机器感知人类的情感状态，提高机器的人性化水平。该文首先对情感识别理论进行了概述，继而对情感识别的研究方法进行了分类描述，接着简述了情感识别的应用领域，最后对情感识别的发展进行了展望。 　　关键词：情感识别；综述；多模态融合；特征提取；情感分类 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）08-0169-03 　　1引言 　　随着智能技术的迅猛发展以及智能机器在各领域的广泛应用，人们渴望对机器进行更深层次地智能化开发，使机器具备和人一样的思维和情感，让机器能够真正地了解用户的意图，进而让机器更好地为人类提供智能化的服务。在智能机器研究中，自然和谐的人机交互能力受到很大的重视。情感识别作为人机情感交互的基础，能够使机器理解人的感性思维，影响着机器智能化的继续发展，成为人机自然交互的关键要素。同时，情感识别融多学科交叉为一体，其发展将会带动多学科共同发展，其应用也会带来巨大的经济效益和社会效益。因而，情感识别技术的研究具有很大的发展前景和重要的学术价值。 　　2情感识别概述 　　情感是一种综合了行为、思想和感觉的状态。情感信息主要表现在内外两个层面：一是外在情感信息，是指通过外表能自然观察到的信息，如面部表情、唇动、声音、姿势等，二是内在情感信息，是指外部观察不到的生理信息，如心率、脉搏、血压、体温等。 　　情感识别本质上也是一种模式识别，它是指利用计算机分析各种情感信息，提取出描述情感的情感特征值，建立特征值与情感的映射关系，然后对情感信息进行分类，从而推断出情感状态的过程。 　　3情感识别的研究方法 　　情感识别的研究方法主要有：面部表情识别、语音情感识别、姿态表情识别、文本识别、生理模式识别和多模态情感识别。情感识别过程一般包括四个部分：数据获取、数据预处理、情感特征提取、情感分类。情感特征提取过程一般包括：特征提取、特征降?S和特征选择。其中，特征提取的方式各有不同，而特征降维和选择的方式大致相同。 　　特征降维常用的方法有：主成分分析、独立成分分析、等距特征映射、拉普拉斯特征映射、多维尺度变换、线性鉴别分析、局部线性嵌入、局部切空间排列和减秩回归法等。 　　特征选择常用的方法有：双向搜索、序列前向选择、序列后向选择、列浮动选择等。 　　情感分类常用的方法有：基于模型匹配法、决策树、支持向量机、朴素贝叶斯、贝叶斯网络、K近邻法、人工神经网络、随机森林、隐马尔科夫模型、线性回归、多层感知器、卷积神经网络和多分类器融合等。 　　3.1面部表情识别 　　在特定情感状态下，面部肌肉会发生变化。例如心情愉悦时，双目含笑，嘴角上翘，颧肌收缩；悲伤时，两眼呆滞，嘴角下拉，双眉紧锁；愤怒时会皱眉，睁大眼睛等。除此之外，也包括一些头部姿势，例如点头、摇头、低头等。 　　面部表情识别过程一般包括四个部分：人脸图像获取、图像预处理、表情特征提取、情感分类。 　　第一步：人脸图像获取。一般从影像数据中得到人脸的图像，包括图片和视频，分别对应静态表情和动态表情。视频就是图像序列，含有时间特性。 　　第二步：图像预处理。一般包括人脸检测定位、人脸扶正、剪裁处理、尺度归一化、直方图均衡化、去光照、光线补偿、同态滤波、灰度化、高斯平滑处理等方式。 　　第三步：表情特征提取。（1）基于静态图像的特征提取方法主要有：Gabor小波变换、局部二值模式、尺度不变特征变换、离散余弦变换和区域协方差矩阵等；（2）基于动态图像序列的特征提取方法主要有：光流法、差分图像法、特征点跟踪法、基于模型法和弹性图匹配法等。 　　第四步：情感分类。除了一些常用的分类器以外，还包括典型相关分析、稀疏表示分类法和基于专家规则的方法等。 　　3.2语音情感识别 　　语音是最普遍、最自然的交流形式，语言除了包含语义信息，还包含具有情感的语速、语调等信息。例如心情愉悦时，语调比较欢快；烦闷时，语调比较沉闷；生气时，音量变大，音调变高等。 　　语音情感识别过程主要分为四个部分：语音信号采集、数据预处理、情感特征提取、情感分类。 　　第一步：语音信号采集。一般采集语音信号的方式是使用麦克风等语音录制设备。 　　第二步：数据预处理。语音信号预处理的方式主要有：反混叠滤波、采样和量化、预加重处理、分帧加窗、端点检测和清浊音判别等。 　　第三步：情感特征提取。典型的语音情感特征分为三类：（1）韵律特征，包括音调、能量、基频、语速、时长等；（2）音质特征，主要有共振峰及其带宽、谐波噪声比和短时抖动等；（3）普特征，常见的有梅尔频率倒谱系数、线性预测倒谱系数和对数频率功率系数等。 　　第四步：情