语言测试分数合成方法研究.docVIP

语言测试的分数合成方法研究 　　摘要：语言测试是我国现行考试体系中比重最大、普及范围最广、影响范围最广的考试。语言测试在教育、人事选拔等领域都发挥着无可替代的作用。社会对考试结果的认可越高，对考试的专业性要求也就越高。语言考试实际上已经成为了一项高风险考试。本文对考试分数的合成方法做了总结，以其为相关研究提供参考 关键词：语言测试；合成；方法 一、引言 中国是最早使用考试的国家，从古代的科举发展到现代的考试，考试在教育、人事选拔、职业能力鉴定等领域都发挥着无可替代的作用。受国外托福、雅思等语言测试的影响，国内于70年代末开始引进或开发第二语言测试。第二语言测试是针对第二语言习得提出的，如大学英语考试（CET）、英语水平考试（EPT）、公共英语水平考试（PETS）等 语言测试的目的是评价学习者的学业成就或语言水平，评估教学效果。除此之外，CET、托福、雅思、PETS等语言测试的结果已经成为人才选拔时的重要依据；英语作为国内学校教授的最主要的第二语言，在高考选拔中的重要性越来越高。社会对考试结果的认可越高，对考试的专业性要求也就越高。语言考试实际上已经成为了一项高风险考试 语言测试专业性不仅表现在题目的命制、考试组织与管理、考试结论的应用等方面，更体现在开始分数的导出、报告与解释上。但目前国内自主组织的语言测试依然采取基于经典测量理论的分数合成方法，使得考试之间的可比性、分数解释的科学性、结果应用的外部效度都受到了极大的影响 本文拟从经典测量理论和现代测量理论的角度，对国内几种常见分数合成方式的原理与特点做比较分析，并提出语言测试分数合成及报告的解决方案 二、分数合成方法的分类 语言测试属于典型的能力水平测试，是教育与心理测量学领域的重要研究主题。对能力测试数据的分析经过了两个重要的发展阶段。以1968年Lord发表《心理测验分数的统计理论》为界，教育与心理测量学经历了经典测量理论和现代测量理论两个发展阶段。19世纪末真分数理论提出到20世纪60年代末的70年间是经典测量理论占主导的发展阶段。经典测量理论为教育与心理测评的发展做出了卓越的贡献，但也存在很多理论本身无法避免的缺陷。最典型的缺陷是：“统计指标与实际意义相悖”，以难度的计算为例，客观题难度即正确率。例如选择题正答率为0.8则难度为0.8，代表题目非常简单；若正答率为0.1则难度为0.1，代表题目非常难。难度的理论区间为[0，1]，数值越大难度越小、数值越小反而难度越大。经典测量理论的缺陷还包括：题目属性的分析依赖于被试样本、分数不等距、基于加权累积方式合成分数等。为解决这一问题，以项目反应理论、概化理论为代表的现代测量理论逐渐发展起来。项目反应理论是现代测量理论的核心理论。与经典测量理论相比，项目反应理论深入测验的微观领域，通过将学生与项目（题目）关联起来并进行参数化、模型化，解决了经典测量理论的诸多缺陷 因此，语言测试的分数合成与解释也分为经典测量理论和项目反应理论两种类型。基于经典测量理论的分数合成方法包括直接相加法、加权累积法、多重分段法；基于项目反应理论的分数合成方法主要包括只考虑难度、区分度等题目特征的项目反应模型合成法；综合考虑题目特征、评卷教师特征、考生特征的多面Rasch模型分析法 三、基于经典测量理论的分数合成 （一）直接相加法 直接相加法就是将测验中的各个维度直接累加得到一个分数。一个完整的语言测试，一般会同时设计语言学习的多个方面，如英语考试一般会包括听力、口语、阅读、写作四个维度。以直接相加法计算的英语考试成绩就是四个维度得分的简单加总 各维度之间的得分直接相加的前提是各种分数之间是同质的，且各维度或分测验的得分在总分中所占的权重相同。在满足上述前提的情况下，直接相加法具有操作简便、容易理解、处理快速等优点 英语的听力测试、口语测试、阅读测试、写作测试分别对应听、说、读、写四种能力。学术界对二语能力的结构尚未形成统一的认识，主要的争议在于：听、说、读、写是四种独立的语言能力，还是统一在语言能力下的四个方面。只有后一种理论才满足四个测验是同质的，才允许将四个得分直接相加。另外，语言测试中，针对不同的能力设计了不同的题型，如听力、阅读等能力的测试以客观题为主，写作能力的测试以主观题为主。两类题目从考察的认知能力、题目难度、考察方式上都有明显区别，不考虑这些差别的情况下直接将得分相加显然不太合理 （二）加权累积法 为解决直接相加法不考虑题目难度、认知要求、考察方式等差异的缺陷，加权累积法根据题目属性之间的差异，给予不同的权重，然后进行加权求和计算总分。合成分数过程中的权重是命题者根据题目的不同属性赋予的。如高考英语中，考察阅读能力的客观题每答对一题计4分，考察听力能力的客观题每