IRT分析程序NOTE与MULTILOG、PARSCALE参数估计性能比较.docVIP

IRT分析程序ANOTE与MULTILOG、PARSCALE 漆书青戴海琦丁树良罗照盛董圣鸿周骏漆书青，教授；戴海琦，硕士，教授；丁树良，硕士，教授；罗照盛，博士，副教授；董圣鸿，硕士，讲师；周骏，硕士，讲师；江西师范大学教育与心理统计测量研究开发中心，江西南昌330027摘要考察了自主开发的现代教育与心理测量通用分析程序(ANOTE)的IRT参数估计质量，与MULTILOG和PARSCALE进行了比较，大量Monte Car模拟研究表明：对难度等级为9以下时，三程序估计精度相近；难度级别1014时，MULTILOG不能处理，ANOTE与PARSCALE估计精度各有千秋；难度级别在15以上时，只有ANOTE才能处理当遇到同一试题两相邻难度级别很接近时，MULTlLOG估出值顺序可能逆转。 关键词参数估计程序RMSD；ABSE 一、问题的提出 国际测量学界有按项目反应理论(IRT)处理多级计分资料的分析程序，MULTILOG和PARSCALE。它们既能处理社会心理测5点、7点乃至更多级别的测评量表资料，又能处理参见两程序使用手册。但MULTILOG的10(即9个难度级别)，PARSCALE的最高等级数为15即14。在我国，心理测量中等级计分资料一般多在9点以下，而成就40％左右，主要部分是多级计分题即西方所称主观；而且，不少题型(如作文、分析论述、综合证明等)的满分值常在15乃至2030分以上。因此，MULTILOG和PARSCALE在我国教育测量中的使用ANOTE）”。它能处30的等级计分题资料。这对在我国推广IRT的研究与应用，当 程序ANOTE包括参数估计、模型资料拟合检验、等值、信息函数计算Samejima双参数模型(GRM)，并把01计分题当做等级计MMLE／EM方法，而对能力参数采用Baes后验期望估计(EAPE)。其具体做法是应用项目参数估计中最后一轮EM循环中得到的的后验分布，这里y……yq为积分结点，求能力参数的Bayes后验期望估计。 (2)、(3)中为的后验分布的估计，yk为数值积分的求积结点，A(yk为相应的权，而式(4)中是GRM中运算特征曲线，其中项目参数均由EM算法估出，而能力参数由积分结点yk代替。 程序ANOTE中参数估计模块是整个分析系统的基础而关键性的部分，Monte Carlo方法，设置修复能力指ANOTE参数估计的正确有效性，并跟国际通行程序MULTlLOG和PARSCALE作了比较，相当系统而认真地进行了本研究。 、方法与设计 按Monte Car法检验计算机程序估计参数 1．指定真参数值，本研究中一方面指定项目参数(即构建模拟试卷)，另(即设置被试群体)。采用Samejime双参数模型，N(0，1)，难度参数bN(0，1)，区分度参数a的对数lna～N(0，1)，N(0，1)表示标准正态分布。 2．模拟生成得分反应矩阵x；一般同一批真项目参数条件下模拟多批(如30个)。 3．使用拟考察与检验的参数估计程序，本研究中即使用ANOTE，MUL-TILOG，PARSCALE三个程序，根据反应矩阵x估出项目与被试参数。 4．求取参数估计值与真参数值的差，设计修复能力的检验统计指标，分析与比较这些指标值，以验证有关参数估计程序的估计性能。 我们设计的修复能力检验统计指标有三：一个是RMSD，一个是ABSE，另一个是MEANE。例如，对于项目区分度参数a， 式中，表示由第t批被试的得分阵x估计的第个项目的区分度，=1，2，…，mt=1，2，…，r．而aj表示第个项目的区分度的真值。 设置三个度量指标的意义是：RMS是一个常用的表示参数估计程序对真值的修复能力的指标，其好处是在一定的条件下，可以讨论RMSD的分布或渐近分布；则可用其大小和符号来考察参数估计程序是否有系统的高估或低估的现象发生；而ABSE这个指标虽无上述优越性，但其绝对值平均对越轨值(outler)有稳健性(robust)，可说明估出值对真参数值的绝对平均偏差，若大，即修复程度差。相仿，我们可RMSD(b)，ABSEE(b)，MEANE(b)以及RMSD()，ABSE()昶MEANE E()。 当然从数学上来看，必有 MEANE(a)≤ABSE(o) 而根据Cauchy-Schwarz不等式，必有 ABSE(≤RMSD(a)。对参数b、也有相类似的结论成立，即有： MEANE(·)≤ABSE(·)≤RMSD(·) 由于MULTILOG和PARSCALE这两个程序的DOS版本和Windows版本在估计精度上没有实质DOS版本作考察。实际考察的Windows版为MULTILOG703，PARSCALE41，DOS版为MULTLOG6.0，PARSCALE31。 为考察在试题有不同计分等级个数、估计收敛为不同精度的条件下各参数估计程序的行