用信息量控制测试误差的几个问题.docVIP

用信息量控制测试误差的几个问题 丁树良 漆书青 戴海崎 谢旭升作者简介：丁树良，硕士，教授，江西师范大学计算机科学技术学院；漆书青，教 作者简介：丁树良，硕士，教授，江西师范大学计算机科学技术学院；漆书青，教授，江西师范大学教育科学研究所所长；戴海崎，硕士，教授，江西师范大学教育与心理统计测量研究开发中心主任；谢旭升，硕士，副教授，江西师范大学计算中心，，江西南昌，330027。 摘要：本文在给定及格分数π后，推导出了在既有两点式记分题、又有多级记分题的混合题库中求π所对应的能力θ的迭代公式。文中还给出了求θ初值的一个经验公式和求等级记分题的信息量公式的另外两种形式的表达式。 关键词：混合题库；能力θ；信息量 一、问题的提出 经典测验理论(classical test theory，简记为CTT)用双向细目表指导试卷编制工作，但在实测之前，纵使对一个确定的考生和确定的试题，对测验误差也难以量化。而项目反应理论(item response theory，简记为IRT)对于特定的考生和试题，给定合适的数学模型，引入项目信息函数(item information function)的概念(见参考文献[2]、[5]、[6])，便可以预测该考生(设具有能力θ)的测验误差(如可参见参考文献[2]、[6])，因为在一定条件下，测验标准误差SE(θ)与信息量I(θ)的根方差的倒数相等(见参考文献[2]，P.152，P.325)。然而，IRT却未研究组卷的一些常用结构指标(如覆盖面、题型、难度比例等)，根据双向细目表组成一套试卷后，根据IRT和考生的能力水平，用信息量较大的试题去代换同一章节同一题型的试题，这样进行优化后，试卷的结构指标除难度比例发生变化外，其他都可以保持不变。显然，用优化后的试卷测试具有这种能力的考生，可使信息量增大，从而使误差减少。 信息量不仅与试题参数(如难度、区分度、猜测度等)有关，而且和被试能力有关，在目标参照性测验中(自学考试、英语等级考试等均属目标参照性测验)，对一特定的题库，可由专家给出一个及格标准，即掌握题库中题目多大的百分比才算及格。当给出这个百分比π(π又称为及格划界分数)后，计算机转而寻找具有多大能力的考生才能达到此百分比。这个能力值θ是要通过迭代才能算出来的。求出θ后，便可算出题库中各题的信息量。 对于研究相当成熟的两点式记分题的题库，计算θ的迭代公式和计算题目的信息量公式都已给(但未给出θ的迭代初值)。对于既有两点式记分题，又有多级记分题的混合题库(这种题库实际上相当普遍)。我们则面临如下问题：如何计算等级记分题的信息量，在计算机上应采用什么样的计算公式才可尽量避免有效数字的损失?用什么样的迭代公式求θ?鉴于牛顿迭代法对初值选取的依赖性很强(如可参见参考文献[1]，P.106，[4]，P.54，P.61)，如何选取迭代初值θ?除了上面给出将CTT与IRT优势互补指导编组试卷这一新思路外，本文其他部分着重讨论这些问题。 二、模型 设有N个考生参加一个考试，测试M道题，第j题为nj等，满分值为fj.Samejima等级模型是：设能力为θ的考生在第j题上得到不少于k分的概率为 该考生在第j题上恰得k分的概率为 其中aj为第j题区分度，bjk为第j题第k等级的难度，j=1,2,…，M。这里，暗含了每一等级赋一分。其他一些独立性假设等，可见[2]、[5]、[6]。 三、θ值的计算 为导出求θ的迭代公式，我们先看最简单的情形：设题库中所有M个试题均为0-1记分题。记具有能力θ考生对第j题的响应为uj(θ)，简记为uj这里 1,该考生答对第j题 uj= 0，否则 则该考生正确作答的比例的期望值为 这可以看成是试卷编制者(不管其是否意识到这一点)要求该考生多次做该题库中的试题的平均答对比率。 若题库中第j题为等级记分题，且每等级给1分，则(3)式应改为 注意到(1)和(2)，通过直接的代数运算，(4)可以化简为 专家提出了及格划界分数π后，我们用公式 迭代求出θ的值，其中 由于(6)中含有g(θ)／g′(θ)，故(7)、(8)两式中分母都可省去，而θ的初值θ0可由下式给出 (9)中的n表示题库中两点式记分题的总数，fj,aj,bj分别表示第j个两点式记分题的满分值，区分度和难度。(9)式的由来在附录一中给出。 注意，一般来讲nM且具有更高能力层次的考生才能做对多等级题，故(9)给出的θ0一般偏小。 四、信息量的计算 计算出π所对应的θ值以后，如何计算题库中的信息量，特别是多级记分题的信息量？Samejima给出了求等级记分题信息量的公式(如可参见[2]P324)。即第j个等级记分题的信息量Ij(θ)为 由(1)、(2)式，知 (11)式相当复杂，且含分母，当P*j.k(θ)与P*j.k+