音频和视频模态对商务英语专业学生听力理解影响.docVIP

音频和视频模态对商务英语专业学生听力理解影响 　　〔摘要〕文章报道了一项实验研究，考察了无字幕视频和纯音频两种不同的电影输入形式对商务英语专业学生听力理解的影响。无字幕视频和纯音频可以看作英语学习的不同模态。此外，还分析讨论了高分组与低分组学生对英文电影的视频画面和音频的依赖程度。研究结果显示：1）以画面、声音和语言多模态播放为主的无字幕视频形式对电影内容的听力理解具有辅助作用；无字幕视频和纯音频两种不同的输入形式在提高英文电影的?力理解方面具有显著差异，这与音画关联度相关。2）与高分组的学生对比，低分组学生对于电影视频画面的依赖性更强。文章还讨论了研究结果对多模态理论和应用研究的启示。 　　〔关键词〕英文电影；音频；视频；听力理解；多模态 　　〔中图分类号〕H0〔文献标识码〕A〔文章编号〕1008-2689（2017）06-0019-06 　　引 言 　　采用观看英文电影的方式进行英语教学是多媒体和互联网背景下的普遍做法。如何观看英文电影才能提高学生的听力和听力理解水平是当下亟待解决的问题。要解决这个问题，就必须先明白观影、听力和听力理解三者之间的关系。王初明[1]认为“听”是纲，说、读、写、译是目，纲举目张，他表示只要听的能力提高了，其他的能力也会得到改善。然而，听力理解水平不同于听力水平。左焕琪[2]认为听力理解是人脑有意识地、积极主动地对新听到的语言进行加工的过程。在这个过程里，听者通过一定情境中的信息提供的线索和已有的社会、文化和语言知识，利用多种策略以达到理解的目的。显而易见，听力可以是一个不带任何解读和回应的听的能力，而听力理解却涉及大脑对信息的选取和加工这个复杂过程。这个复杂的听力理解过程中存在一些干扰或促进听力理解的外部因素，如音频和视频两种不同输入形式。 　　随之而来的现实问题是，外语教学中，视频与音频对听力理解作用是否不同？不同听力水平组的学生听力理解时对视频或音频的依赖程度是否一样？如果对前一问题的回答是肯定的，那就意味着视频中的音画关联紧密，学生认知难度低，认知加工效果更好。但若回答是否定的，则表明视频画面与语言不相关，对听力理解有干扰作用，认知加工难度大，音画协同效果差。第二问的回答若是肯定的，说明视频与音频对听力理解影响毫无差异，反之不然。无论如何，假定需要实验验证。 　　一、 理论及其应用研究背景 　　多模态话语分析理论是指运用听觉、视觉、触觉等多种人体感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[3]。Van Leeuwen是早期研究多模态领域的学者之一，受系统功能语言学理论影响颇深。他借鉴系统功能语言学的三种元功能，把符号模态也同时分为三种元功能（图像、文字和动作），而他主要关注不同的声音资源以及有意义的阐释[4]。多模态研究探讨了图像在表达意义上和语言的相互作用。顾曰国[5]认为人类通过感官与外界互动，用单个感官叫做单模态，两个就叫做双模态，多个叫多模态。张德禄[3]表示，“运用多模态的理由是：一种模态不足以充分表达交际者的意义，从而利用另一者来强化，补充，调节，协同，达到更充分或者尽量充分表达意义，让听话者理解话语的目的。”在多模态理论基础上，学者们也纷纷通过实证研究试图实现多模态在实际学习中的运用。张征[6]研究发现多模态PPT演示教学模式对改变学生的学习态度具有积极作用。然而，多模态也是把双刃剑，若处理不好会分散学习者的注意力，干扰对知识点的记忆，导致瞬间“热闹”而事后“空空”之感[5]。 　　多模态理论在英文电影中表现为图像、声音和语言。有学者认为，相较于相同内容的纯音频单模态材料，视听结合的材料能够降低听的难度[7]。Ginther[8]也表明视频能够对音频信息进行场景语境的补充。季月和石玲[9]则表明过量或不相关、不匹配的视听信息可能会干扰视听的理解过程。为了探究视频（视听结合）和纯音频对于听力理解的作用，国内一些学者通过实证研究有了进一步的发现。胡永近和张德禄[10]通过实证研究发现音频、视频配英语字幕的多模态组合对学生听力内容理解的促进作用最大，音频、视频配汉语字幕作用次之，音频、视频无字幕作用第三，而单独音频的作用最小。查强[11]通过实验研究表明视频组和音频组得分之间具有很大差异，视频对听力理解具有促进作用。但欧阳素珍[12]从多模态理论的视角出发，通过实验研究发现：视频配英文字幕的多模态组合对学生的听力内容理解促进最大，纯音频次之，其次是视频配中文字幕的多模态组合，而音频配无字幕的视频组合作用最小。虽然视频在一定程度上会分散学生注意力造成“分裂”效应，但在目标语言的配合下，能在一定程度上抵制视频的干扰，有利于学生的听力理解。 　　综上所述，视频与音频对听力理解的作用研究结果尚未取得一致的实验结果。这是为什么？本文认为，原因可