数字技术和多模态语篇分析.docVIP

数字技术和多模态语篇分析 　　〔摘要〕科学技术，尤其是数字技术为语篇分析提供了新的工具。它为多模态社会符号和动态语篇的转录、注解、分析提供了快捷有效的方法。在此背景下，文章简要介绍了电脑软件对语言、声音、视觉图像等社会符号的注解、描述、分析，及其对大型视频语篇的分割、概括、搜索等功能。在语篇数字化、复杂化的今天，研究者应该充分利用数字技术更高效、更深入地描述、阐释多模态语篇。 　　〔关键词〕数字技术；多模态语篇分析；语篇转录；注解软件 　　〔中图分类号〕 H3〔文献标识码〕 A〔文章编号〕1008-2689（2010）04-0012-06 　　 　　一、 引言 　　多模态语篇分析的兴起与发展与科技发展密不可分[1]。随着科学技术，尤其是数字技术的发展，人类生活与交际模式发生了深刻变化。单一的语言交际逐渐被由语言、图像、声音等构成的复杂交际模式所取代。以广告传播为例，它从古埃及的简单的口语宣传，发展为印刷术发明后单一的书面语言广告，然后到带插图的平面媒体，最后发展为集语言、图像、声音为一体的电视广告[2]。交际媒介的多样化与数字化使“语篇”这一概念变得复杂。在这种情况下，单凭语言分析已无法全面理解意义的构建，对“非语言”（nonverbal）交际符号的分析显得十分必要。因此，可以说，科技是促使多模态语篇分析发展的首要因素[3]。 　　数字技术的发展使语篇分析的方法遇到前所未有的挑战与机遇。就挑战而言，首先，语言学者长期研究得出的语言的结构与法则不一定适用于其他交际符号；其次，多模态语篇在规模和复杂性上都超过了语言语篇，无法用传统的分析方法处理。就机遇而言，数字技术为分析多模态语篇提供了新的工具。虽然数字技术早已成为自然科学研究的重要工具，但其在人文学科中的应用却落后很多[4]。分析者应充分利用数字技术处理因数字技术而倍加复杂的多媒体、多模态语篇，使多模态语篇分析真正成为科技与语篇的汇合[1]。 　　基于上述背景，本文将阐述数字技术在多模态语篇分析中的应用。这对研究者充分有效地利用科学技术，尤其是数字技术，创造性地进行语篇分析具有重要意义。我们将首先介绍录音、录像技术与口语、图像数据的采集。然后，集中探讨数字技术（电脑软件）对语言、声音、图像等多模态社会符号的分析，并演示多模态注解软件在复杂多模态语篇分析中的应用。本文最后将指出，数字技术是辅助描述、阐释多模态语篇的有效工具。在语篇数字化、复杂化的今天，研究者应该更主动的利用数字技术，这样不仅能更快捷的描述复杂的多模态语篇，更能提高语篇分析与阐释的广度与深度。 　　二、科技发展与多模态数据的采集 　　这类分析的前提是录音与录像技术，因为实时会话与非语言行为稍纵即逝，必须首先将声音与手势等记录下来才能进行深入分析。1877年，爱迪生发明了使用蜡筒录音（wax-cylinder recording）的留声机。几年后，他和法国的卢米埃兄弟（Lumiere brothers）分别独立发明了录像机和放映机。蜡筒录音和录像机很快就被民俗学家、人类学家、语言学家等应用于对美国印第安人和非洲裔文化的研究[3](197)。 　　虽然录音录像的技术早已具备，但直到20世纪60年代，轻便易用的盒式录音磁带才进入市场。此后，录音变得简单可行，录音地点也不局限于专门的实验室。这一技术的普及直接导致了20世纪六七十年代会话分析的兴起。对自然会话的深入分析引出另一个重要问题，即声音的转录（transcription）。录音设备可以将声音存储于磁带，但对会话的进一步研究以及研究成果的交流与传播需要把声音转换成书面语言。手写与传统的打字技术无法满足这一需求，因为要转录的不仅是语言，还包括语调、音高、停顿等副语言（paralinguistic）要素。1961年IBM公司Selectric 打字机的面市成果解决了这一问题。利用该打字机，Harvey Sacks、Emmanuel Schegloff和他们的助手Gail Jefferson制定了一套详细的转录规则（transcription conventions）。这套规则后来不仅成为会话分析领域的标准，也对其他分支的语篇产生了重要影响。 　　当然，在数字化时代，录音与录像都是由数字设备完成的。声音与图像数据可以直接输入电脑，由软件辅助转录、编辑与处理。现阶段尚没有技术成熟的软件可以将自然语言录音自动转换为电子文档。但很多电脑软件已经具备识别自然语言的功能，如Microsoft Speech Recognition Engine、Dragon NaturallySpeaking 10、e-Speaking’s Software等。虽然目前它们的功能仅局限于对电脑的声音操作，但声音与文字之间自动转换的实现已只是时间的问题。现在的转录软件主要是辅助