语音多模态研究与多模态二语语音习得.docVIP

语音多模态研究与多模态二语语音习得 　　摘要：目前多模态二语语音习得是热门研究话题，但已有相关研究多聚焦于语音软件声学分析在二语语音习得中的应用，二语语音习得的多模态系统研究缺乏。本文在整合语音多模态相关研究的基础上，依据语言学、语音学、语音声学、语音生理学相关理论，尝试构建基于生理仪器测量、基于语音合成的发音过程三维动画和基于语音软件声学分析的多模态二语语音习得研究框架，旨在丰富二语语音习得研究方法和研究内容，有效促进二语语音习得。 　　关键词：多模态二语语音习得；生理仪器测量；语音合成；声学分析 　　中图分类号：H319.3 文献标识码：A 文章编号：1001-5795（2013）04-0059-0005 　　从发展轨迹来看，语音学经历了“口耳之学”的传统语音学和语音科学两个阶段，其分水岭是语音学研究中首次使用X光对发音器官、发音动作等进行实证研究。随着科学技术的快速发展，近二十年语音科学研究取得了重大进展，并呈现出多元化发展趋势。语音多模态研究也应运而生。随着二语语音习得研究的扩展和深入，语音多模态研究成果越来越多地被应用于二语语音习得中，多模态二语语音习得研究也日益成为人们关注的热点话题。 　　关于语音多模态研究在二语语音习得中的应用，国内学者进行了一些有益的尝试，主要是在二语语音习得和教学中引入语音声学软件分析。谢萍（2007）、马照谦（2007）、蒋红柳（2009）等探讨了如何使用Praat、Speech Analyser等语音分析软件实现可视化英语语音教学，如何通过提供视觉上的感知反馈和感知评判标准，使抽象的语音概念介绍和容易混淆的语音的区分变得直观形象，帮助学习者正确感知英语语音。庄木齐、卜友红（2011）介绍了商用超音段音位辅助习得软件Better Accent Tutor（超音段可视化分析软件）的性能及应用效果。这些研究有助于学习者了解语音软件及声学分析，并通过可视化教学进一步提高二语语音习得效率，但也有其局限性和不足：只是聚焦语音习得的单一模态，并且尚未构建一定的研究框架。这一问题若不能及时解决，二语语音习得研究还会流于表面，缺乏深度和系统性。针对这一不足，我们在整合语音多模态相关研究的基础上，依据语言学、语音学、生理语音学、声学语音学等理论，尝试构建一个针对中国学习者的多模态二语语音习得研究框架，以期促进多模态二语语音习得理论的发展，丰富二语语音多模态研究方法和研究内容，有效促进二语语音习得。 　　1 语音多模态研究与多模态二语语音习得 　　语音学是研究人类说话声音及言语过程的学科。现代语音学一般分为发声语音学（artieulatory phonet—ics）、声学语音学（acoustic phonetics）和听觉语音学（auditory phonetics）。发声语音学主要研究讲话人的语音产出，声学语音学主要研究讲话人与听话人之间的语音传递，听觉语音学主要研究听话人对语音的接受和感知。三者涉及言语交际过程中的发音、传递和感知三个阶段。正如图1言语链（The Speech Chain）所示，言语的产出与感知过程复杂，涉及语言学层面（linguistie level）、生理学层面（physiological level）和声学层面（acoustic level）发生的一系列现象。 　　“模态”（modal）本是计算机科学中研究人机交互时使用的一个术语，指“人类通过感官（听觉、视觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式”（顾曰国，2007）。“多模态”指综合运用多种模态，通过文本、图像、视频、手势、三维动画等多种手段和符号载体进行交际的现象（Iedema，2003；O’Halloran，2011）。“语音多模态研究主要是指对某种语音进行语言学、语音学、语音声学和语音生理学的全方位研究”（孔江平，2008）。这一全方位研究基本涵盖言语过程中的发音、传递和感知三个阶段。因此，语音多模态研究对二语语音习得的多模态研究有着重要的借鉴意义。 　　1.1 多模态二语语音习得研究框架构建 　　基于语音多模态研究，我们尝试性构建不同层面（音段层面、超音段层面）的多模态二语语音习得研究框架（如图2所示）。 　　多模态二语语音习得研究可分为以下三大类：①基于生理仪器测量的多模态二语语音习得研究，包括动态声门研究、口鼻气流气压研究、动态腭位研究、唇形研究等，多用于研究辅音习得（因为辅音在语图上声学表现不明显）；②基于语音合成的发音过程三维动画的多模态二语语音习得研究，主要用于研究辅音和元音等音段的习得；③基于语音软件声学分析的多模态二语语音习得研究，主要用于研究超音段音位习得及元音习得。其中超音段音位可通过音高（pitch）、音强（intensity）等声学参数来反映；元音作为乐音有很好