基于小组讨论大学英语口语考试中评分员信度研究.docVIP

基于小组讨论大学英语口语考试中评分员信度研究 　　摘要： 大学英语口语考试的信度和效度受到很多学者关注，但是作为一种应用在一般教学环境中的小组讨论形式的测试，对于其中评分员信度的研究，目前相关的研究成果还不多见。本文对小组讨论形式的大学英语口语考试中评分员信度进行实证研究，并描述和讨论相关的数据与研究结果。 　　关键词： 小组讨论 评分员 信度 　　1.引言 　　为了满足新时期国家和社会对外语人才的需要，深化大学英语教学改革，教育部于2007年正式颁布的《大学英语课程教学要求》明确规定“培养学生的综合能力，特别是听说能力，使他们在今后学习、工作和社会交往中能用英语有效地进行交际”。这一要求是针对大学生英语听说尤其是说的能力普遍薄弱而提出的，但是对于学生覆盖面极广的大学英语口语考试却极难有效地开展，主要受到口语考试特殊性和时间、场地、考官等条件制约。区别于传统面试的一对一口语考试方式的小组讨论的口语考察方式能够很好地解决上述问题，它不仅在很大程度上提高了口语考试的效率，而且在小组讨论考试中，学生们可以在模拟的环境中用到包括提问题、总结谈话等各种谈话管理能力，提高口语考试的效度。 　　作为一种应用在一般教学环境中的有效考试方式，对于考试中评分员信度的研究，目前相关的研究成果还不多见。因此，本文拟对小组讨论形式的大学英语口语考试中评分员信度进行实证研究，并描述和讨论相关的数据与研究结果。 　　2.研究背景 　　2.1考试设计原则 　　本次口语考试的设计首先要能够较好地测量出学生真正的口语交际能力，有较高的效度和信度；其次要考虑各种客观条件的限制，包括评分员、场地、设备、时间，有易于操作、能适合大规模口语考试的特点；再次考试要能激发起学生的兴趣，对以后的教学产生反拨效应。 　　2.2考试形式 　　口语考试的方式可以分为两种：一种是采用录音方式的口语考试；一种是面试型口语考试。两种形式的口语考试最基本的差别在于是否有面对面的语言交际活动。面试型口语考试又分为一对一、两人交谈、三人以上小组讨论形式的口语考试。 　　录音方式（包括更为先进的机考模式）虽然具有考试效率高、可信度好的特点，但是需要较大的设备投入，并且缺乏口语必需的真实环境的交际和表面效度。小组讨论的口语形式既能节省口语考试所需的人力、时间等资源，又能测试到更全面的诸如组织管理等交际功能。所以小组讨论形式的口语考试主要被应用在考生人数多，谈话成员的语言水平、文化背景等特点相对来说比较容易统一的校内考试当中。 　　2.3考试评分 　　评分方法主要有两种：分项评分法（analytical rating）和整体评分法（holistic rating）。分项评分法是评分员根据评分标准，使用评分量表对应试者口语表现的各个方面逐项进行评分，把应试者的口语能力分解为若干要素，包括语音、词汇、语法和流利程度等。整体评分法是评分员根据评分标准，凭整体印象给应试者打分。整体评分法能够从整体上考虑应试者的口语能力，一般被认为有较高的效度，而分项评分法将评分细化，要比整体评分法更客观，一般被认为信度较高。 　　对于要求考试简化的口语考试，为提高考试的效率和信度，可使用双评分员打分，将分项评分法和整体评分法相结合的方式。一名评分员打整体印象评分；另一名则打出分项分数，最后加权平均，得到总分。这种安排有助于解决由于单个评分员的个人主观性而时常导致的失信问题。 　　3.研究设计 　　我们从三个方面评估口语考试：通过问卷调查和访谈的方式来了解考试的参与双方对考试的总体评价，用以验证考试的表面效度，为本次的研究提供基础；用直方图和集中量数、分散量数等数据来呈现本次考试的成绩分布，用以验证考试是否合乎最初的设计要求；用计算相关系数的方法验证每组内两位评分员评分的一致程度即评分员之间的一致性（inter―rater reliability），并用单因素方差分析来比较各个考官之间的评分差异。 　　此研究使用的统计软件为SPSS11.0。 　　4.小组讨论形式口语考试的实验研究 　　参加本次考试的是本校2013级本科一年级的学生，其中抽取一个由经管和人文学院的学生组成的考场作为参考，共80名学生，其中男生37名，女生43名。考试有2名评分员，都是有十多年大学外语教学经验的教师。口试使用双评分员打分，一名评分员打整体印象评分（100分），另一名则打分项分数（100分），分项评分时所用的评价项目是根据Bachman的口语能力概念研究开发的，具体分发音、词汇、语法、流畅性、回答的确切性和回答的主动性六个方面。最后加权平均，得到小组的基准分。根据各小组成员的表现差异，在基准分的基础上加减得到各考生的具体得分。考试内容为教材所学单元总结出来的5个主题，考生每4人一组，提前15分钟抽取主题，在