多模态话语分析初探.docVIP

多模态话语分析初探 [摘要] 多模态话语指语言与其他符号资源共存,共同建构意义。迄今为止的话语分析基本上局限于语言本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。20世纪90年代,西方兴起的多模态话语分析,则可以在很大程度上帮助人们克服这些局限性。本文将论述与多模态话语分析紧密相关的几个问题: (1)多模态话语的产生; (2)多模态话语分析的理论基础; (3)多模态话语的媒体系统; (4)多模态话语分析的意义。 [关键词] 多模态话语分析 理论基础 媒体系统 1. 引言 话语分析(discourse analysis)这一研究方向是美国语言学Harris于 20世纪 50年代初提出的，自此以后，世界各地的话语分析家作出了很大努力,提出了各种各样的话语分析理论和方法,通过大量实例分析,解剖了话语活动内在的规律以及话语活动与意识形态和认知模式之间的关系。（朱永生，2003）然而，这些理论和方法，基本上都是以语言为研究对象的，即只注重语言系统和语言结构本身及其与社会文化和心理认知之间的关系，忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用PPT上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。以这种交际方式产生的话语就是多模态话语。多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。然而，如何在话语分析中把多种媒体和多种模态结合起来进行分析解读是现代语言学研究要解决的问题。 2.多模态话语的产生 生命科学的研究成果告诉我们 ,生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道 ( sensory channel): (1)靠眼睛获得的视觉通道 (visual channel); (2)靠耳朵获得的听觉通道 (auditive channel); (3)靠皮肤获得的触觉通道 ( tactile channel); (4)靠鼻子获得的嗅觉通道 (olfactory channel); (5)靠舌头获得的味觉通道 (gustatory channel)。这些通道是生命体与周围环境进行信息交换的界面和路径。生物学家们认为 ,上述5种感知渠道的获得分别导致以下 5种交际模态的产生:视觉模态 (visualmodality)、听觉模态 (auditivemodality)、触觉模态 ( tactile modality)、嗅觉模态 (olfacotry modality)和味觉模态 ( gustatormodality)。其中与话语分析关系最紧密的是视觉模态和听觉模态。近年来 ,由于科学技术的发展 ,触觉模态、嗅觉模态和味觉模态也开始用于话语交际。 3.多模态话语分析的理论基础 多模态话语分析主要的理论基础是Halliday创立的系统功能语言学 (Halliday 1978, 1985/1994; HallidayMatthiessen 2004)。具体地说 ,多模态话语分析从系统功能语言学那里接受了语言是社会符号(social semiotic)和意义潜势 (meaning potential)的观点 ,认为语言以外的其他符号系统也是意义的源泉;接受了系统理论 ,认为多模态话语本身也具有系统性;接受了纯理功能假说 (metafunction hypothesis) ,认为多模态话语与只包含语言符号的话语一样 ,也具有多功能性 ,即同时具有概念功能、人际功能和语篇功能;接受了语域 ( register)理论 ,认为语境因素和多模态话语的意义解读之间有着密不可分的联系。 4.多模态话语的媒体系统 4.1 语言媒体 从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气以及字体形状、大小、空间的布局等。这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变。 4.2 非语言媒体 表达意义的非语言媒体包括交际者的身体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。交际者肢体的动作可以分为三个类别：(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情