情感表达的跨文化多模态感知研究.pdfVIP

NCMMSC’2009 ，8 月 14－16 日，新疆乌鲁木齐 情感表达的跨文化多模态感知研究 1 1,2 3 李爱军 ，邵鹏飞 ，党建武 （1.中国社会科学院语言所，北京 100732；2. 山东师范大学, 济南，250014； 3.日本北陸先端科学技術大学院大学情報科学研究科, 〒923-1292 石川県能美市旭台 1-1 ） 文 摘：视频和音频两个模态的信息在交际过程中起着至关重要的作用，本研究关注的问题是情感表达中不同文化背景的 听者对情感的感知（解码）与这两个模态（面部表情和情感声音）的关系。发音人为中国人，录制她的5个语句的7种情感 （6种基本情感+ 中性情感）的音频和面部表情，制作三类刺激：只有音频信息(A-only)、只有面部视频信息(V-only)以及视 频和音频同步信息(AV-Congruent) 。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现，面部 视频信息的加入有益于情感的感知，视频和音频信息在跨文化的情感解码中起着不同的作用，与情感的唤醒度arousal有密 切的关系，相关距离空间分布模式说明听辨结果具有稳定性，跨文化的情感感知存在普遍的心理基础。 关键词：情感；语音；音频；视频；面部表情；跨文化；感知 中图分类号： H 017; TP 3 [3] 人在交际过程中无时无刻地在对各种模态的 影响下，认为情感是由离散的基本情绪构成 ,是进 信息进行编码，解码和综合理解，语音交流中各种 化的结果并具有普遍性。Ekman和Izard对这个理论 情感表达和感知就是其中一例。所以，面部和语音 进行了发展，提出了面部基本情感早期的个体初始 的情感的编码和解码过程，一直是心理学和认知科 化状态，给出了基本情绪面部表达的典型模式，假 学关注的课题。由于对这个问题的探索，有助于提 设其他的情感可以由这些基本情感进行混合产生。 高人机语音通讯1 的性能，因此成为语音研究的热点 Griffiths[1]提出了情感表达的基本情感编程概念，此 之一。因为情感的编码/解码过程可能和多模态以及 后主导了很多的研究。这个理论认为存在一定数量 语言背景有关，我们试图通过一个多文化/ 多模态的 的、进化上连续的基本情感，通过特定的条件触发， 情感感知实验来揭示情感的编码/解码过程。这里， 并通过相互关联的特定情感响应编程加以区分，其 我们设计了一种跨文化多模态的情感感知实验，主 中响应编程是普遍的与生俱来的。 要从感知角度了解中国人和日本人的多模态情感 近年来，Ekman[4,5]和Izard[6]对这个理论观点进 表达的模式，如语音和面部情感表达的与情感感知 行了详细的描述，研究了生活中人们可以经历的各 的关系在不同文化中的表现和相互影响等。 种情感状态。Izard认为环境和文化对情感有非常重 要的影响，强调认知和情感过程的多种相互关系， 1 情感理论 Ekman 提出了面部表情编码系统(Facial Action 关于情感理论，影响较大的主要有三个[1,2]: （1） Coding System:FACS)[5] ，认为情感过程（affect 离散情感理论，认为情感表达是由基本情感编程形 programs ）是一个开放式的过程，可以通过文化和 成的-a