汉语句子-图片信息整合的眼动研究.pdfVIP

汉语句子．图片信息整合的眼动研究 陈庆荣 邓铸 南京师范大学心理学系，南京210097；jscqr80@sina．eom 摘要采用眼球追踪．分析法考察了“句子．图片”验证范式下旬图信息整合过程中旬式和语 义关系类型的作用．实验结果表明：(I)汉语句子．图片信息整合过程中，句图继时呈现没有消除 语义失配效应，注视次数、总注视时问显著增加．瞳孔直径扩大．语义失配会显著干扰句法难度低 的句式的句图信息整合．(2)句式影响句子-图片信息的整合过程，注视次数、总注视时伺、瞳孔 直径随句法难度增加而增加。(3)汉语句图信息整合过程中，语义失配效应受句式影响，表现出任 务的特异性，这说明成分比较模型不具有一般性。 关键词句子．图片，句式，语义关系类型．语义失配效应．眼动。 1问题提出 阅读是从文字中识别信息的认知技能。日常生活中，人们经常浏览的报纸、杂志、科学 期刊，甚至课本，都是图文相配合的。但在相当长的一段时间内，心理学家关注的重点是纯 文本阅读的研究[11。只是近几年，人在阅读、观察句子．图片时的心理加工过程才重新引起 心理学家的注意，如Carrolp]、Rayned31等使用眼球追踪．分析法所做的大量研究，考察的对 象涉及连环漫画册、媒体广告、科学图表等。 在句子．图片信息加工机制，即个体如何提取和整合句图信息的研究中，Carpenter和Just 句子．图片任务中信息的对比加工主要有两个阶段：内部表征、心理操作。句子和图片信息 整合的难易取决于两者表达的语义内容是否一致，整合过程不受任务性质影响。 Feeney等151发现句子、图片同时呈现时，语义是否一致会影响被试的反应时间，这与 Carpenter等的研究结论一致。不同的是，语义失配效应受到其他因素调节，如句子关系项 thallk而表现出交互作用。Underwood等161考察了句子一图片任务范式中信 (Greaterthan．1ess 息提取和整合的过程，实验发现。当句子和图片同时呈现时，句子和图片语义不一致会显著 增加被试的注视时间、注视次数和反应时间，这与Henderson等的研究结论一致“J；继时呈 现时，存在顺序效应，即句子和图片呈现的先后顺序影响被试的反应时间和眼动特点。先呈 现句子会减少被试在句图整合任务中的反应时间、注视时间等，但没有表现出语义失配效应。 因此，Underwood等认为句子和图片的信息整合过程受多种因素影响，不能仅用一个因素来 解释，并在后续研究中进一步证实了该结论pj。 Knoeferle等p】使用SVO和VOS两种句子结构，通过先呈现图片，后呈现句子的方式考 察图片．句子信息整合的特点。实验发现，句子结构类型影响被试对句子不同成分的注视时 间，谓语和副词出现失配效应，注视时间显著增加。实验结果支持CCM模型的相关论述， 但也进一步证实句图整合过程受多种因素影响．如句子结构，这与其关于视觉情景范式下图 片．句子信息整合的口语理解研究结论一致”““J。 关于句子一图片信息整合，目前，在使用英语和德语实验材料的研究中，所得结果证实 语义不一致会干扰句图信息的整合过程，表现出眼动特异性；语义失配效应受多种因素影响， 如句子结构等。但也存在不少争论，如语义失配效应出现的条件。Underwood等发现句图继 时呈现会消除语义失配效应，这可能和他们使用的刺激图片有关。在实验中，他们用来完成 整合任务的图片是一些自然场景。与Carpenter等使用的简单几何图形相比，自然场景图片 显然包含更多可能需要编码的信息。虽然Knoeferle等发现句图继时呈现，信息整合过程也 327 表现出语义失配效应，但其实验范式并非严格意义上的句子．图片，而是图片．句子． 汉语句子比较偏重结构，即重视句子结构成分之间在意义上的配合，并表现出句法复杂 性，如紧缩复旬和单句、肯定和否定表达等。不重视形式上的特殊标记。对于汉语而言，句 子．图片加工是否会表现出英语和德语一样的信息整合特点?旬图继时呈现是否会消除语义 失配效应?缪小春等【l目发现，先呈现图片，后呈现句子条件下，句图语义较为一致会减少 被试的判断时间。张金桥等ll”发现句图信息整合过程中，句子类型和旬图关系存在交互作 用。从研究结论看，缪小春和张金桥等部分证实了Underwood和Knoeferle等的实验结果， 但仍然没有明确深入地揭示先呈现句子，后呈现图片条件下，句囹信息整