应用语言学研究多模态分析方法.docVIP

应用语言学研究多模态分析方法 　　摘 要: 计算机辅助的语言研究方法是21世纪的一个发展趋势,本文介绍多模态话语分析的理论与方法,主要介绍多模态分析软件ELAN以及该软件的主要功能,并举例说明如何利用ELAN开展应用语言学研究,并指出多模态研究方法应用的价值和重要意义。 　　关键词: 多模态分析;ELAN;应用语言学研究 　　中图分类号:H319.3文献标识码:A文章编号:1001-5795(2008)05-0008-0005 　　 　　近年来,多模态话语分析技术发展迅速,多模态分析已广泛运用到符号学、哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学和医学等各领域,研究对象也从语言文字扩展到音乐、图片、影像、网页设计等多种社会符号系统(朱永生,2007:82)。所谓多模态分析指用计算机程序对装载了多模态活动的、经过数字化的含音频的视频流进行分析的技术或方法(顾曰国,2007:4),但采用多模态的技术方法开展外语教学研究还不多见,本文探讨如何将多模态分析软件ELAN运用到应用语言学研究中,并呼吁将多模态分析技术应用到第二语言研究中。 　　 　　1 多模态分析的理论与方法 　　 　　1.1 多模态分析的理论 　　话语的模态形式有多种,只使用一种模态传播的话语叫做“单模态话语”(monomodal discourse),如收听广播或阅读小说;同时使用两种模态的话语叫做“双模态话语”( bimodal discourse),如使用可视电话进行交际;使用两种以上模态的话语叫做“多模态话语”(multimodal discourse),如使用手机交流时,用耳朵听,用嘴讲,用笔写信息,用手发信息。用电脑上网也是如此。多模态话语分析的理论基础是系统功能语言学,韩礼德认为,语言是社会符号和意义潜势,语言以外的其他符号系统也具有表达意义的功能(朱永生,2007:83),如沉默虽然无声,但却传达某种意义。 　　多模态话语分析重点研究6个方面的问题:(1) 多模态话语的定义;(2) 话语转录和分析;(3) 多模态话语分析与技术;(4) 多模态的意义生成潜能提升;(5) 多模态和多媒体语言学习;(6) 多模态话语分析对语言学的影响(Baldry Thibault,2006)。语言研究从文本转移到现场即席话语得益于计算机技术和跨学科的发展。多媒体技术和语料库的迅速发展,使我们可以建立多模态语料库,开展应用语言学研究。 　　 　　1.2 多模态分析方法 　　多模态分析软件种类较多,这里介绍一种实用的多模态分析软件ELAN,ELAN (EUDICO Linguistic Annotator)是由马普心理语言学研究所(荷兰奈梅亨市)的Brigit Hellwig设计开发的一个多模态话语分析软件。该软件升级版由Dieter Van Uytvanck完成,最新版本为ELAN 3.2.0,用户可以到http://www.lat-mpi.eu/tools/Elan免费下载。这个软件可以分析说话人的话语内容、语音语调、面部表情、唇形、肩部和手的动作等。ELAN通过对视频文件进行多层级同步标注实现上述功能,其优点是:1)视频播放精确到0.01秒,便于用户精确定位,循环播放;2)标注与文本、声音、图像同步进行;3)标注编码表由用户自行定义,标注层数具有无限性;4)标注与标注之间能彼此链接,便于纵横对比;5)标注结果输出格式多样化,适应不同研究需求。ELAN可以对media 格式(*.mpg/*.mpeg/*.wav)、mp4格式(*.mpg4,*.mp4)和quick time 格式(*.mov,*.qt)的音频视频文件进行标注。对于其它格式的资料(如avi格式的文件),可用视频转换软件,将文件转换成Elan允许的格式,然后进行相关操作。 　　安装、注册ELAN软件之后,激活主程序文件ELAN.exe,运行软件,主界面由菜单栏、视频播放窗口和标注区域组成,菜单栏主要由文件(File)、编辑(Edit)、标注(Annotation)、层级(TIer)、类型(Type)、查找(Search)、浏览(View)、播放模式选择(Options)等组成。视频播放按钮主要对视频进行播放/暂停、前进/后退控制,前进后退按钮共有5组。ELAN具有多种功能,这里介绍几种最主要的功能:定义语言类型、定义层级、视频标注、查找、替换。 　　王立非等:应用语言学研究的多模态分析方法 　　1)定义语言类型 　　ELAN在进行多模态分析之前,首先要定义语言类型(见图1),如文本、语音、动作、表情等。还可以对语言类型进行加工、添加、修改、删除、导入。 　　图1 定义语言类型 　　2)定义层级 　　语言类型定义完成后,下一步对语言类型层级(Tier)定义