情感计算的研究进展.ppt

情感计算的研究进展 概述 情感识别 情感建模 情感推理 1.1 情感计算研究的意义 目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。 对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。 1.2 情感计算的概念 MIT媒体实验室Picard教授于1995年提出了情感计算的概念。 情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。 情感计算包括情感识别、情感表示、情感建模、情感交互等四个方面。 中国人工智能学会人工心理与人工情感专业委员会主任、北京科技大学王志良教授提出了人工心理理论。 人工心理是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）更全面地再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。 日本从20世纪90年代就开始了感性工学(kansei engineering)的研究。 所谓感性工学，就是将感性与 工程结合起来，在感性科学的基础上，通过分析人类的感性，把人的感性情感加入到商品设计和制造中去，它是一门从工程学的角度实现给人类带来喜悦和满足的商品制造的技术科学。日本已经形成了举国研究感性工学的高潮。 人工心理学是一门交叉科学，其理论根源来自脑科学、心理学、生理学、伦理学、神经科学、人类工学、感性工学、语言学、美学、法律、信息科学、计算机科学、自动化科学、人工智能等。 应用范围主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人工心理编程语言、人工创造技术、人类情感评价计算机系统(虚拟技术)、人类心理数据库及数学模型、人际和谐环境技术和人机和谐多通道接口等。 1.3 国内外研究现状 MIT：affect.media.mit.edu/projects.php CMU 东京大学 早稻田大学 日内瓦大学 情绪研究实验室 伯明翰大学 中科院计算所：研究带有表情和动作的虚拟人。 中科院自动化所：基于生物特征的身份验证。 中科院心理学所、生物所：情绪心理学、生理学研究 中科院软件所：智能用户界面 浙江大学：虚拟人物、情绪系统构造 北京工业大学：多功能感知机同情感计算的融合研究。 东南大学：语音情感识别 南京航空航天大学：语音情感计算。 中国科技大学：基于内容的交互式感性图像检索的研究 重庆大学：智能服务、增强现实、环境感知、智能手表等，注重软件方面的研究。 海南大学：军用无线局域网结构中的可穿戴计算机。 哈工大：“具有六种面部表情及视觉的类人头像型机器人及行为研究” ，于2004年研制出具有八种面部表情的仿人头像机器人系统，并进行了表情实验，实现了喜、怒、哀、乐、悲伤、严肃、吃惊、自然(中性)等8种表情。 1.4 典型应用 索尼公司的AIBO狗 ：第一个实现规模商品化的宠物机器人（2006年生产6万只，收益10亿美元）， QRIO、SDR-4X等宠物机器人。为有情感交互能力的机器人及相关的研究打开了想象的空间。 它们的共同特点是：对外界刺激有反应能力；能与人进行生动的交流，这种交流除了语言，还有面部表情、语凋和身体姿态等。 卡内基梅隆大学的机器人接待员Valerie：Valerie的面孔形象出现在一个能够转动方向的移动屏幕上，向访问者提供一些天气和方位方面的信息，还可以接电话、解答一些问题；并且Valerie有自己的性格和爱好，情感表达较为丰富。 1.5 待研究的关键问题[1] 没有符合人类情感规律并适于机器实现的人工情绪自动生成模型。 在智能推理过程中，如何考虑情绪影响的因素，实现真正意义上的拟人推理过程。 语音情感信息处理技术和表情识别技术的不成熟，成为制约人工情感与和谐人机交互技术发展的瓶颈。 如何从多模态的角度进行情感信息融合、识别与理解，实现自然和谐的人机交互平台环境。 [1] 王志良. 人工心理与人工情感. 智能系统学报, 2006, 1(1):1-6. 2.1 多模情感识别概述 2.2 情感特征 情感行为识别： 面部表情识别 语音情感识别 姿态识别 生理模式识别： 皮肤电反应 呼吸 心率 体温 脑电波等 2.3 特征抽取和数据预处理 2.3.1 面部表情识别 特征： 几何特征（ERS：33个几何特征） 局部区域特征 纹理特征 小波特征 … 特征抽取： 人脸检测 人脸边缘检测 特征点定位 基于样例学习的面部特征点自动标定算法 特征点跟踪 光流跟踪 预处理 光照不理想 遮挡 侧面人脸 2.3.2 语音识别 特征（ERS: 37）： 短时能量及短