计算机化口语考试构念效度问题研究.docVIP

计算机化口语考试的构念效度问题研究 　　摘要： 本文旨在通过定性分析来检验广东省高考英语(NMET)II计算机化口语考试的构念效度问题，即这一考试（COT）是否考到了它所要考的构念。Hedge(2001) 的语言交际能力模型作为本研究的理论框架。通过定性分析，包括对COT专家的问卷调查分析、试题内容的分析以及对考生考试表现的分析证明了COT考到了大部分的口语交际能力。定性分析表明COT有比较高的构念效度。 　　关键词： 构念效度 口语交际能力 计算机化口语考试(COT) 高考英语Ⅱ 　　 　　计算机化考试是最近十几年来发展起来的一种新型考试形式。2004年广东省率先使用人机对话的方式作为高考英语Ⅱ(NMETⅡ)的口语考试形式，考核学生的口语交际能力。这种考试形式由于提高了考试的标准化程度，从而提高了考试的信度。但评价一个考试最重要的一个特征并不是信度，而是效度问题，即这个考试是否考到了它想要考的东西(Henning 1987)。Woods(1993)曾指出提高效度有可能会影响到信度，而提高信度也可能会在某种程度上降低效度。因此本文旨在研究COT在提高信度的同时，是否也有很高的效度。 　　 　　1.理论背景 　　 　　交际语言教学(CLT)在我国已推广了20多年了。在外语教学界，学生的语言交际能力也已被公认为外语语言教学的目的(Richards Rodgers 1986)。自1985年开始实行的全国高考英语考试(NMET)，考试小组的专家已明确表示力图通过该考试帮助中国英语教学从侧重语言形式转向对语言的运用(桂诗春等1985)。而广东省NMET中的口试部分也从最初的侧重语音语调的笔试语音和大声朗读，发展到1995年实施的角色扮演。后者是一种面对面的信息交流方式，这在很大程度上提高了测试的真实性，比最初的形式更为进步。但角色扮演也存在着诸多的缺限，如各地考场的考官英语水平的差异对考生的影响；不能一次性测试考生而需要多份平行试卷的影响，花费在考官培训、考试实施的时间和经费较多；以及考官所承受的必须立即评定考生成绩的压力。这些问题都呼吁着一种更标准、更有考试信度的口语考试的出现。 　　由于上述种种原因，广东省2004年在高考英语中率先实行了计算机化口语考试(COT)。在COT中，考生在同一时间进入考场，做同样的试题；只需要一个或两个的监考教师在考场中监督而不需要经过培训的考官。在阅卷方面，所有考生的测试成绩都被录入电脑，随后编入程序由受训过的大学英语教师集中在一个大型电脑中心评卷。试卷是随机发给每个阅卷人。如果评一份试卷的两个阅卷人评的分数差距超出正常标准，该试卷则由第三个阅卷人重评，直到达到标准范围之内。通过这些手段，考试的信度较之于角色扮演得到了提高，进而确保了考试的公平性。 　　评价一个考试最重要的两个标准是信度和效度。效度比信度更为重要，因为如果一个考试考的不是它宣称要考的东西，那么这个考试就没有任何意义可言。通过COT，口语考试的信度相应地提高了，但效度会受到影响吗?COT能不能考到它所要考的口语交际能力?这是COT设计者和考试使用者要问的问题，也正是本研究所要回答的问题。 　　在所有关于交际能力的文献中，对交际能力的定义发展从Hymes(1972)，Canale Swain(1980)，到Bachman(1990)，直到Hedge(2001)从语言教学的角度总结了前人的观点。我们选择了以Hedge(2001)的语言交际能力为基本框架，操作化定义了口语交际能力，它包括语言能力、语用能力、语篇能力、策略能力和流利性。以下的研究都是在该口语交际能力的框架之下进行的。 　　因此在本文中，我们最主要的研究问题就是COT是否考到了口语交际能力?而且在多大程度上考到了这种能力？ 　　根据Bachman(1990)，在考试构念效度的研究中，既需要有定性分析（专业的判断），又需要定量分析。在本文中，我们将从定性分析的角度进行分析（定量分析将在第二篇文章中进行详细阐述）。Fulcher(2003)提出了四种定性研究方法，包括专家判断、问卷调查和采访、语篇分析以及口头报告分析。 　　 　　2.研究方法 　　 　　本研究通过定性分析方式来探讨COT这种口语考试形式是否考到了口语交际能力。在分析中，我们采用了专家问卷调查和内容分析的方法。问卷调查即通过专家对于COT的考试题目是否能考到口语交际能力的每一项做出判断来看COT的效度问题，而内容分析则是对COT三大考题的分析以及考生的具体考试表现的分析。 　　本研究中的研究工具包括：专家意见调查问卷，2004年广东省高考英语II试题中的口语部分的试题和NMETII的评分标准。 　　专家意见调查问卷是以本文操作化定义的口语交际能力为框架，分为3部分。每一部分回答专