互联网多模态数据的情感计算.pdf

互联网多模态数据的情感计算 清华大学计算机科学与技术系 贾珈 jjia@ 与清华大学计算机系唐杰教授课题组、中科院心理所傅小兰教授课题组合作 情感计算理论与方法  思维和问题解决的通用理论中必须包括情感的影响 （Herb Simon，1967）  情感是人对客观事物的态度体验，情感能力是人类智能的重 要标志，情感在理性行为和理性决策中也起重要作用  情感体验所构成的恒常心理背景或一时的心理状态，都对当 前进行的信息加工起组织与协调的作用  情感状态的细微改变都有可能对主观创造性、问题解决产生 重要影响  情感计算是与情感相关，来源于情感或能够对情感施加 影响的计算（ 《情感计算》 ，Picard，1997）  情感计算令人困惑 2  探索性强，跨领域 研究历程回顾： “情感计算”研究框架 表现 表现数据采集 参数提取 人体跟踪 主观体验 表情识别 情感描述 多模态 姿态识别 多模态情感生成与检测 情感数据库 情感语音识别 情感语音合成 情感脸像合成 生理数据采集 生理 情感的可计算性 资源建设和基础工作 关键技术和成果应用 3 情感的可计算性 PAD情感状态模型 （Mehrabian，1996）  P、A、D分别代表情绪的三个维度，其中 P 愉悦度（pleasure-displeasure）： 表示情绪状态的正、负特性 A 激活度（arousal-nonarousal）： 表示情绪的神经生理激活水平 D 优势度（dominance-submissiveness）： 表示情绪的控制状态，与他人和环境的互动；  每种情绪可用在三个维度上的值来表示  angry (-.51, .59, .25),  bored ( .65, -.62, -.33), 4 情感空间的距离测量 PAD三维情感空间建模 平均数 标准差