语言加工过程中的视听跨通道整合.pdfVIP

心理科学进展 2019, Vol. 27, No. 3, 475–489 Advances in Psychological Science DOI: 10.3724/SP.J.1042.2019.00475 ·研究前沿(Regular Articles) · 语言加工过程中的视听跨通道整合* 韩海宾 许萍萍 屈青青 程 茜 李兴珊 ( 中国科学院心理研究所, 北京 100101) ( 中国科学院大学心理学系, 北京 100049) 摘 要 日常生活中, 语言的使用往往出现在某个视觉情境里。大量认知科学研究表明, 视觉信息与语言信 息加工模块并不是独立工作, 而是存在复杂的交互作用。本文以视觉信息对语言加工的影响为主线, 首先对视 觉信息影响言语理解, 言语产生以及言语交流的相关研究进展进行了综述。其次, 重点对视觉信息影响语言加 工的机制进行了探讨。最后介绍了关于视觉信息影响语言加工的计算模型, 并对未来的研究方向提出了展望。 e c 关键词 视觉信息; 语言加工; 言语理解; 言语产生; 言语交流 n 分类号 B842 e i c  1 引言 技术的不断发展, 人工智能也成为了研究热点。 S l 研究者也开始尝试把不同通道的信息整合进人工 日常生活中, 人们经常同时接受来自不同感觉 a 智能, 使其完成更为复杂的功能, 更好地为人类 c 通道的信息。例如, 当人和人面对面交流时, 人们 i 服务(Ng et al., 2017; Heinrich Wermter, 2017) 。 的耳朵在听到话语的同时, 眼睛能同时看到相关 g o l加工来自不同感觉通道信息的认知模块如何 的视觉信息。人们在加工这些来自不同通道的信 o 相互影响, 又如何完成来自不同通道的信息整合 息时, 往往利用不同的认知模块。近代认知神经 h c 任务, 是认知心理学需要研究的重要问题。而针 科学的研究表明, 人脑也往往利用不同的脑区对 y 对多通道信息整合原因以及整合机制的问题, 目 s 不同通道的信息进行加工(Binder et al., 1997; Grill- P