谢小庆测验等值讲义.docVIP

测验等值 主讲谢小庆 equating）。 如果不进行等值处理化，不同时间举行的考试的成绩之间不具备可比性，评价标准或证书授予标准会受到试卷难度起伏的影响。一些水平不高的考生可能会由于运气好遇到较容易的试卷而通过考试获得相应资格，一些水平较高的考生可能会由于运气不好遇到较难的试卷而未通过考试并未能获得相应资格。这种状况，不仅影响到选拔效率和人员素质，而且对考生也是很不公平的。 等值研究的意义并不局限于保证考试公平。今天，为了避免命题和试卷编制中的盲目性和偶然性，许多考试机构都在致力于建设题库。实现基于项目反应理论（Item Response Theory，简称IRT）的题目参数等值是建设科学化、大规模题库的前提。基于经典测验理论（Classical Tesing Theory，简称CCT）之上的等值方法只能实现不同试卷之间的等值，满足“试卷库”建设的需要，很难实现在统一的量尺上标定试题难度和区分度的任务，很难满足大规模题库建设的需要。 实现计算机化自适应性考试是许多考试的发展方向，也是摆在许多考试机构面前的重要课题。计算机化自适应性测验开发中的一个核心环节就是在统一的量表上标定试题参数，实现各个考生所回答的不同题目之间的等值。 二、等值的定义 一般说，等值是将一个测验的不同版本的分数统一在一个量表上的过程。如果一个考生在参加不同版本的考试时，他的成绩不会受到影响，那么，我们可以认为这两份试卷是等值的。在实际进行等值处理时，需要对等值的操作定义。在等值概念中，应该包括等价性、对称性、样本组间一致性等涵意。 ㈠等价性 Lord首先提出等值的等价性(equity)概念(1980,第195页)。根据Lord的等价性概念，一组能力相同的考生组在测验X上的真分数分布经等值转换后，应该与他们在测验Y上的真分数分布相同。这种等价性可以表达为： 定义T为真分数，x为测验X上的分数，y为测验Y上的分数，为x在测验Y上的等值分数，G为累积分布函数，则等价性的含义是对于所有的真分数T有： (1) 这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数、标准差、分布形态完全一样。正如Lord指出，只有在测验X和测验Y完全相同的情况下，这种等价性才可能实现。在测验实践中，两份试卷不可能被编制得完全相同。如果能够编制出完全相同的两份试卷，也没有必要再进行等值处理。因此，Kolen和Brennan认为，“如果以Lord的等价性作为标准，等值处理既不可能，也无必要。(1995,第11页)因此，Morris于1982年提出了一个可能实现的等价性定义： 定义E为一个变量的期望，则等价性的含义是对所有的真分数有： (2) 上式中的用法与式(1)中相同。这一定义被称为“一阶等价(first order equity)”或“弱等价(weak equity)”。 这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数相等。 无论是经典测验理论中的“真分数”还是IRT中的“潜在特质”，都是无法直接把握的。在实际的等值中，我们经常以基于对一组人的观察之上的观察分数来定义等价性： (3) 这一定义意味着，如果一组考生在测验X上的观察分数分布与在测验Y上的观察分数分布相同，我们就认为测验X与测验Y等值。 在下面所介绍的等值方法中，有些是基于公式(2)所定义的等价性之上，如Levine真分数等值方法；有些是基于公式(3)所定义的等价性之上，如等百分位方法。 ㈡对称性 对称性又称可逆性，是指等值转换关系是双向的。对于两个平行测验X和Y，如果测验Y上的60分等值于测验X上的50分，那么X上得分50分也一定等值于Y上的60分。这种对称性的要求将回归方法排除在等值方法之外。等值问题并不单单是个回归问题。通常，X对Y的回归与Y对X的回归并不一致，回归关系不具有对称性。 ㈢样本组间一致性 等值处理的结果应该不受到进行等值处理所采用的考生样本组的影响。根据不同的样本组建立起来的测验X与测验Y之间的等值关系应该基本一致。例如，两个测验版本之间的等值关系对于男生样组和女生样组应该是一样的。 在实际的等值过程中，等值的这一含意往往难以满足。等值结果或多或少要受到等值样组的影响，有时影响会很大。一般说，真分数等值模型较少受到等值样组的影响，而观察分数模型则较多受到等值样组的影响。因此，在等值过程中，应该尽量使样组对于测验的对象群体具有好的代表性。(kolen,1995,第12页) 横向等值和纵向等值 根据等值的应用性质，可以将等值分为横向等值(horizontal equating)和纵向等值(vertical equating)。一般说，等值是在测验的平行