高考英语上海卷-考试研究.DOCVIP

高考英语(上海卷)多元概化理论研究 雷新勇 徐欣幸 (作者简介：雷新勇，副教授，上海市教育考试院；徐欣幸，高级教师，上海市教育考试院。上海，200234) 摘要:运用多元概化理论对2002年高考英语上海卷进行了研究，结果表明：2002年高考英语上海卷考试结果是可信的，但不同部分测量效果却有差别。写作、英译汉、阅读理解和语法部分相对测量误差小，分数信度高，测量效果好，而词汇、听力理解和综合填空部分分数信度相对较低，测量效果欠佳或不佳。听力理解部分测量效果欠佳的原因是容易题偏多，难题偏难，测量效果较好的中等难度试题偏少；综合填空部分测量效果欠佳的原因在于试题偏难。词汇部分测量效果不佳主要的是因为该部分题量偏少，部分试题偏难也是原因之一。 关键词:考英语；上海卷；多元概化理论 高考英语(上海卷)由7个部分组成，它们是听力理解(listening Comprehension)、语法(grammar)、词汇(Vocabulary)、综合填空(Cloze)、阅读理解(Reading Comprehension)、英译汉(Translation)和写作(writing)，其中语法和词汇侧重考察考生英语语言知识，其他部分侧重考察考生的英语使用能力。本文运用多元概化理论(Multivariate Generalization Theory，以下简称MGT)对2002年上海市高考英语结果做了研究，以期确定试卷各部分在考生语言能力测量中的作用和问题以及整卷的测量效果。 一、研究样本和工具 对2002年上海市高考英语结果进行分层抽样，样本容量2607。计算采用R.L.Brennan提供的mGENOVA(2001)软件。 二、研究方法 MGT研究由G研究和D设计研究两个阶段组成。由于所有考生必须完成全部试题，本文G研究和D设计研究均采用多变量单侧面交叉(p×i)设计模型进行。 (一)整卷7变量MGT研究 对样本进行7变量MGT研究，变量N1指听力理解部分，变量N2指语法部分，变量N3指词汇部分，变量N4指综合填空部分，变量N5指阅读理解部分，变量N6指写作部分，变量N7指英译汉部分。 G研究阶段主要确定7个变量观察分数的3个方差分量(即考生方差分量σ2(p)、试题方差分量σ2(i)及考生和试题交互作用方差分量(亦称误差方差分量)σ2(p×i))和7个变量间的协方差矩阵及相关系数矩阵，根据这些参数可以确定各个部分在考试中的作用及各变量间的关系。 G研究7个变量包含的试题数列于表l中。 表1 7变量G研究和D设计阶段主要数据 注：变量N6中的试题数是指作文评分标准中的评分类别数。 D研究阶段主要根据获得的7个变量的G-系数、信噪比(S／N - rel)和组合G - 系数、组合信噪比，以及各变量对整个测量贡献的大小。根据这些参数，可以了解影响整个考试结果信度的因素，为改进考试提供信息。 (二)听力部分3变量MGT研究 由于整卷7变量研究中各个变量本身容量的变化，对其他变量的重要参数，如概化全域分数方差分量σ2(P)、相对误差分量盯σ2(rel)、G-系数、信噪比(S／N)等没有影响，我们可以根据7变量研究中出现的问题，对个别变量再单独进行MGT研究。 对听力理解部分，将20道试题分为容易题(难度系数大于0.75)、中等题(难度系数在0.5和0.75之间)和难题(难度系数小于0.5)，相应的变量名为E、M和D，探索不同难度试题数量的变化对听力理解部分测试效果的影响。听力部分3变量G研究和D设计方案列于表2中。从D设计l到D设计4，中等题数量保持不变，容易题数量递减，难题数量相应增加；从D设计4到D设计l0，容易题数量不变，难题数量递减，中等题数量相应增加。 表2听力部分3变量MGT的G研究和D设计情况 (三)词汇部分2变量MGT研究 对词汇部分将l0道试题分为难题(难度系数小于0.5)和容易题(难度系数大于0.5)两部分，分别定义为变量D和E，二者的G研究试题数分别为4和6，通过D设计研究难题和容易题比例的变化及总题量变化对词汇部分测试作用和效果的影响。表3中，在词汇部分试题总量不变的前提下，以G研究为基准，从D设计l到.D设计2，容易题量递增，难题题量相应减少；从D设计3到D设计5，容易题量递减，难题题量相应增加；从D设计6到D设计8难题数量不变，容易题数量增加，词汇部分试题总量也相应增加。 表3 词汇部分2变量MGT的G研究和D设计情况 (四)综合填空邵分3变量MGT研究 将综合填空部分20道试题分为容易题(难度系数在0.6和0.75之间)、中等题(难度系数在0.4和0.6之间)和难题(难度系数小于0.4)，相应的变量名为E、M和D，探索不同难度试题数量的变化对听力理解部分测试效果的影响。表4中G研究阶段容易题、中等题和难题数分别为4、5和11。从