E—learning 系统多模式情感识别模块研究.docVIP

E—learning 系统多模式情感识别模块研究 　　摘要：针对当前存在的大多数情感识别的方法是单模式的，且基于刻意的情感表达和情感模型，不适用于现实生活的问题，并根据现实生活中人体外部表象的微妙变化能表示情感行为的改变，不像单模式方法那样每一类单一识别方法，需要一些夸大的外部表象才能表明这些情感的改变的特点。根据此本文采用多模式识别方法，设计了基于情感计算的E-learning系统的情感识别模块，将视觉与听觉结合起来共同识别无意识情况下的情感状态。 　　关键词：E-learning；单模式情感识别；多模式情感识别 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）15-3599-04 　　E-learning（数字化学习或电子学习）是利用现代通信技术，将信息技术与课本知识整合，为学习者提供理想的学习环境和学习方式，以达到深化教学改革和创新人才培养的目的。 　　基于情感计算的E-learning系统，就是在传统E-learning系统的基础上增加了情感识别模块，包括：情感识别模块、情感分析模块、情感反馈模块、情感评价模块等，实现情感化个性化的教学。主要目的是弥补传统E-learning系统情感缺失的问题。在这些情感模块中，情感识别模块是基础，这一模块产生的结果直接影响后面所有模块的效果，因此对情感识别模块的研究放在重要的位置上，且进行深入的研究。 　　由于识别的环境为远程E-learning教学的学生端，因此可以将多模式识别方法分为三部分[1]，分别为：基于视觉的面部表情识别和身体动作识别，还有基于听觉的会话信息（语音）识别。 　　1 基于单视觉的情感识别方法 　　1.1 面部表情识别 　　对面部图像的捕捉是通过网络摄像头来实现的，采样的方法是按一定的时间间隔来停帧并存取图像（与20秒为一个时间间隔），接下来会对存取的图像进行情感的识别，确定这一时刻的情感状态，为以后的情感分析和反馈提供依据。 　　1.1.1 对图像进行情感的识别 　　对面部图像进行情感识别其实是一种人脸识别过程，其中主要包括三个方面的内容：人脸检测、人脸表征、人脸鉴别。 　　1）人脸检测：采用基于肤色的人脸检测算法； 　　根据计算机色彩理论，通过对RGB格式、HIS格式、YCbCr格式[3]等主要色彩空间的比较，选用基于YCbCr空间的肤色模型来进行肤色区域分割。YCbCr[4]色彩空间从YUV色彩空间衍生而来。其中Y代表亮度， Cb和Cr分量分别表示蓝色和红色的色度，在不同的光照下这两种色度是稳定的。该空间的优点是将亮度分量与色度分量分离开来， 这样受亮度变化的影响就比较小， 降低了两者的相关性。 　　2）人脸表征：主要对眼睛、鼻子和嘴巴等的特征检测与定位。 　　在对人脸进行表征之前首先要进行人脸区域的分割，把人脸区域用矩形框起来。所采用的分割算法流程图如图1： 　　具体的算法是基于相似度的方法，得到的结果图如图2所示（红线矩形框为结果），把眼睛和嘴巴表示为分段多项式曲线，用变形模版得到准确的轮廓[3]，标记的结果图如下图2 ： 　　3）人脸鉴别：采用主成分分析（PCA） 　　主成分分析方法（Principal Component Analysis ，PCA） 也称为主元法，主分量分析法，是一种常用、简单有效的方法。PCA方法就是将包含人脸的图像区域看作是一种随机向量，用K-L变换获取其正交K-L基底，对应其中较大特征值的基底具有与人脸相似的形状，因此又称之为特征脸（Eigenfaces）[7]。 　　采用PCA算法进行人脸识别时，其中的测试数据库选用Yale人脸数据库（耶鲁大学网站上下载），此人脸数据库由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图片，包含光照，表情和姿态的变化，效果图如图3： 　　1.2 人体动作识别 　　人体动作过程是一个动态系统，其识别方法也都是基于动态系统的识别方法。人体运动分析中一个重要的内容是运动识别和动作检索。一般认为，运动识别的任务就是把物体的轮廓从背景中分离出来，根据特征值与目标样本库中的运动进行匹配运算，以达到识别目标的目的。而动作检索则是在已知的运动类型范围内，对于每个时刻的动作，根据特征值和时间关系，与运动库中的动作匹配[16]。 　　2 基于单听觉（语音）的情感识别方法 　　基于单听觉的语音情感识别的实现大致可分成三个模块：语音数据的读取、语音数据的特征提取与分析以及语音情感识别。 　　2.1 语音数据的获取 　　语音数据的获取以话筒为依托，并将输入的语音信息存储为数字音频文件，这里采用了波形音频文件，即WAVE文件格式，扩展名为“.wav”。它是WINDOWS中缺省的也是最常用的文件格式，这种格式在IBM PC