双模态情绪强度估计方法研究.pdfVIP

摘要 情绪是指入对认知内容的特殊态度，是以个体的愿望和需要为中 介的一种心理活动。生活中人们有着各种各样的情绪，每一种情绪同 时对人们的生活有反作用。因此对情绪进行识别，并相应地对情绪强 度进行估计，焉以指导人们的生活有着重要的现实意义。本文作者利 用计算机技术，针对急躁这一负面情绪进行研究，并且将其扩展到其 他情绪，具体工作如下： 由于心理学家认为人的情绪通过面部表情和动作表情体现，其中 的动作表情是指与情绪相关的除去面部表情以外的动作，它包括头部 和身体其他部分的运动。因此本文作者将面部表情与动作表情(头部 运动)二者结合来估计情绪强度。 首先，对急躁情绪进行数学建模，构建了双模态特征模型，分别 采用两种模态信息——人脸表情和头部运动信息来表征急躁情绪。其 原因是根据实验观察，人在急躁时往往处于厌恶表情且伴有头部频繁 地摆动。根据这～特点，设计用表情强度和头部摆动强度来度量情绪。 表情强度采用局部特征方法计算；头部摆动强度采用头部摆动的幅度 和频率进行估计，其中幅度采用情绪特征数据的方差进行计算，而频 率采用情绪特征数据经DCT变换的期望值来计算。该方法能够扩展 到其他情绪，为情绪强度估计提供了一种通用的特征提取方法。实验 结果表明该方法能较准确的提取情绪特征。 其次，针对急躁情绪强度估计这一问题，为了更好地结合强部表 情与头部运动信息，本文作者采用双层隐马尔科夫模型(DMHMM)对 情绪强度进行估计。第一层MHMM对面部表情进行识别，进而得到 面部表情强度信息；第二层结合面部表情特征与头部运动特征进行情 绪强度的估计，得到情绪强度的三个等级。实验结果表明：该算法实 现简单，并且能快速的对情绪强度进行估计，识别的正确率超过了只 采用面部表情信息的方法。 关键词面部表情，动作表情，双模态，情绪强度，DMHMM ABSTRACT EmotioniSa attitudeathuman’S content．andakind special cognized ofmindwhichtakes individual’Swillanddemandasresonance．Thereare variousemotionsinour andeachofthemreactstoour atthe living living sametime．Asa hasacrucial to livesa result，it meaninggive guidance that emotionand its on a recognizing estimatingintensity．胎research aswellasotheremotion negativeemotion--impatience bycomputer asfollows： technoledge considerthat Psychologists emotionis expressedbyfacial andaction’S iSdefinedas expression expression．Action’Sexpression thesemovementsthathave todowithemotionfacial something