视觉语法观照下多模态语篇分析.docVIP

视觉语法观照下多模态语篇分析 　　摘要：根据社会符号学的观点，人们借助由多种符号有机构成的“符号系统”进行交际。视觉语法的提出为多模态研究提供了理论依据。基于元功能理论框架下的视觉语法体系，对多模态概念及其相关的研究做了系统的梳理。并以一则平面广告为例，试图从多模态视角，探讨识读的认知规律，以便为多模态语篇的设计、评介提供借鉴。 　　关键词：多模态；话语分析；元功能；视觉语法[中图分类号]H314　[文献标识码]A　[文章编号]1671-7287(2011)04-0096-05 　　一、基本概念 　　1.视觉语法的产生 　　韩礼德系统功能语法认为，语言具有三大元功能(亦称纯理功能)：概念功能、人际功能和语篇功能。概念功能指语言对于人们的现实世界(包括内心世界)中各种经历加以表达的功能；人际功能是讲话者运用语言参加社会活动的功能；语篇功能是人们运用语言组织信息的功能。该理论框架由五个部分组成：①文化层面；②语境层面；③意义层面；④形式层面；⑤媒体层面。其中，形式层面包括语言的词汇语法系统、视觉性的表意形体和视觉语法系统、听觉性的表意形体和听觉语法系统、触觉性的表意形体和触觉语法系统等模态以及各个模态的语法之间的关系。媒体层面是话语最终在物质世界表现的物质形式，包括语言形式和非语言形式两大类。其中语言形式包括纯语言的和伴语言的两类；非语言形式包括身体性的和非身体性的两类。前三个层面的讨论主要围绕语言进行，后两个层面的讨论则突破了语言范畴，这也为后来克瑞斯等人的视觉语法提供了理论基础。杨信彰认为：“从社会符号学角度看，符号的使用受语境的影响，表现在所使用的表征和交际手段上。语言是典型的符号系统，有关语言的理论同样也适用于其他符号系统”。克瑞斯等认为不同的符号可以表示相同的意思，语言的元功能意义靠词汇语法来体现，其他模态也有类似特征。Royce讨论了语言和其他符号系统之间的关系，认为视觉图像同时体现着三大元功能。视觉图像由呈现的参加者、互动参与者及构图特征组成。呈现的参加者指图像中出现的所有成分或实体。互动参与者指的是阅读过程中的参与者，即阅读???和图像设计者或绘画者。构图特征指的是能够产生结构连贯的成分排列方式，相当于“语篇功能”。 　　在将图像也看成是社会符号的前提下，克瑞斯等将韩礼德系统功能语法中的元功能延伸到视觉模式，创立了视觉语法体系，认为“正如语言的语法决定词汇如何组成小句、句子和语篇，视觉语法将描写所描写的人物、地点和事物如何组成具有不同复杂程度的视觉的‘陈述’”。该语法体系由再现意义、互动意义和构成意义组成，分别对应功能语法中的概念意义、人际意义和语篇意义。克瑞斯在对再现意义进行讨论时将图像分为叙事和概念两种。王红阳讨论了如何构建观察者与图像之间的互动意义。根据克瑞斯等人的观点，互动意义是指图像的制作者、图像所表征的事物(包括人)和图像观察者之间的关系，同时提示观看者对表征事物应持有的态度。互动意义由接触、社会距离、态度和情态四个要素构成。构图意义在视觉语法中指“语篇成分的空间顺序”，分“信息价值”、“突显”和“框架”三个步骤实现。 　　2.视觉语法与多模态话语 　　多模态是近十年来语言学领域新出现的一个概念，并正在引起相关学者的关注。多模态话语分析也是近十年来发展并活跃于西方学术界的一种新的话语分析理论。克瑞斯等开创了多模态研究之先河，引入了多模态话语分析的概念。多模态话语分析的理论基础为韩礼德的系统功能语法，其出发点是韩礼德“语言是社会符号”的论述。从符号学角度看，我们在交际的时候使用多种多样的符号，这些符号有机组合在一起，共同构成交际的符号体系，而作为主要交际符号的语言只是其中的一种符号。韩礼德的视觉语法为多模态概念的提出及后期研究奠定了坚实的基础。多模态话语分析的基础是语篇，即多模态语篇。 　　克瑞斯等最早涉足这一领域，为多模态研究拉开序幕，他们对多模态语篇／话语所下的定义是：一种融合了多种交流模态(如声音、文字、形象等)来传递信息的语篇。李战子认为：“多模式话语除了文本之外，还带有图像、图表等的复合话语，或者说由任何一种以上的符号编码实现意义的文本”。曾蕾认为“超出文字语言符号以上的多种符号语篇”则为多模态语篇。胡壮麟从符号学的视角研究了多模态的符号学特性，这和克瑞斯等人的研究视角不谋而合。依照他的研究，我们可以从社会符号学的角度将多模态语篇定义为多种“符号资源”共同呈现的语篇，或是传达同一意思的多种符号有机构成的“符号系统”。王红阳在研究中，还提到了“语篇多模态观”，即“各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与我们日常的人际交往活动”。张德禄在交际情景中讨论了多模态话语语篇，“话语的意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等；身体