应用于考试中与IRT 参数估计简化程序设计.docVIP

应用于考试中的ＩＲＴ参数估计简化程序设计 朱宁宁 ? 　　目前，越来越多的考试都应用项目反应理论Ｉｔｅｍ Ｒｅｓｐｏｎｓｅ Ｔｈｅｏｒｙ，称简ＩＲＴ）作为题目分析、题库建设以及分数估计等方面的主要方法。　　但是，这一方法因为具有太多的数理统计内涵，以至不容易被人掌握。而且，目前用于ＩＲＴ参数估计的软件虽然不少，比如有ＢＩＧＳＴＥＰＳ、ＰＡＲＳＣＡＬＥ、ＢＩＬＯＧ以及ＭＵＬＴＩＬＯＧ等Ｅｍｂｒｅｔｓｏｎ ＆ Ｒｅｉｓｅ，２０００），但是作为商业软件，这些工具都有特定的应用范围和条件，并且功能过于复杂，设计的目的主要是供研究者使用的，并不容易为一般应用者所掌握。这些问题的存在，导致了我国考试界对ＩＲＴ技术了解不深和应用不广。　　实际上，对于计划要在考试中使用ＩＲＴ技术的广大考试管理者和实施者而言，他们更希望有一个易于使用，并能满足一般数据处理要求的ＩＲＴ参数估计程序，以便能将现在的考试系统提升到一个新的更有效的水平上，并能适应现代计算机技术不断进步的要求。　　本研究使用边缘极大似然估计ＭＭＬＥ）的方法进行项目参数的估计，并用贝叶斯法Ｂａｙｅｓ）期望后验估计ＥＡＰ）的方法进行结果分数参数估计Ｂａｋｅｒ，１９９２），设计出一个功能简化的用于二级计分的２ＰＬ模型的参数估计程序，简称ＭｙＰｒｏ。这一程序的特点是：使用简便，嵌入性较强。　　１模型简介　　二级计分的２ＰＬ模型项目特征曲线可表示为：　　Ｐｉ（1/2)　　其中，Ｚｉｊ＝ｊ－ｉ为题目区分读，λｉ为题目的难度。　　２． ＭｙＰｒｏ与Ｂｉｌｏｇ在估计结果上的对比 　　ＢＩＬＯＧ（Ｍｉｓｌｅｖｙ ＆ Ｂｏｃｋ，１９９０）是用于二级计分的项目反应理论模型参数估计的流行工具，这个程序已经有适用于Ｗｉｎｄｏｗｓ平台的版本，可完全通过菜单设置参数，来完成１ＰＬ、２ＰＬ和３ＰＬ的ＩＲＴ模型的参数估计。在本研究中，使用的对比程序就是ＢＩＬＯＧ（３．１１版）。ＢＩＬＯＧ－３程序使用流行的（ＭＭＬＥ）方法来进行项目参数的估计，默认用（ＥＡＰ）方法进行特质参数的估计。 　　下面，用蒙特卡洛（Ｍｏｎｔｅ Ｃａｒｌｏ）模拟方法，将ＭｙＰｒｏ与Ｂｉｌｏｇ－３加以对比，以观察其可用性。首先模拟１０次考试数据：每次考试有３０００个考生参加，试卷的题量为５０题。其中，题目鉴别度Ａ采用Ｌｏｇ正态分布加以模拟，题目难度Ｂ采用正态分布模拟。能力值Ｔｈｅｔａ也使用正态分布模拟。受测者的应答情况采用２ＰＬ模型加以模拟（由于模型本身即要求数据的一维性，因此模拟的数据已经符合模型的要求，不必再进行模型符合性的相关检验）。　　得到１０组受测者应答矩阵以后，分别使用ＭｙＰｒｏ和Ｂｉｌｏｇ－３进行参数的估计。ＭｙＰｒｏ和Ｂｉｌｏｇ－３方法得到Ａ值、Ｂ值和ＴＨＥＴＡ值的各１０组数据，将这些数据分别和初始模拟的Ａ值、Ｂ值和ＴＨＥＴＡ值进行比较，分别计算出每一组的误差的标准差的平均值，以之作为估计误差。结果如表１所示： 　　从表１中可以发现：　　（１）将ＭｙＰｒｏ和Ｂｉｌｏｇ－３的估计结果与模拟的初值进行误差分析，发现两个程序的估计的准确性水平较为一致。可认为这两种程序的估计具有同样的准确性。　　（２）通过对比ＭｙＰｒｏ和Ｂｉｌｏｇ－３两种程序的估计结果，发现两个程序的估计结果的差异较小。可认为两种程序的估计结果之间具有一致性。　　从模拟研究结果观察，ＭｙＰｒｏ这个参数估计程序，虽然距离Ｂｉｌｏｇ的复杂性还有很大的差距，但是已经达到了可用的标准。　　需要使用者注意的是：和Ｂｉｌｏｇ等程序一样，ＭｙＰｒｏ简化程序没有包含ＩＲＴ模型假设检验过程，因此需要用户预先保证输入ＭｙＰｒｏ的数据是符合ＩＲＴ的模型假设的（可通过ＤＩＭＴＥＳＴ或ＤＥＴＥＣＴ等程序考察数据的特征）。　　３ＭｙＰｒｏ的用法介绍　　ＭｙＰｒｏ这个程序包含两个功能：ＭｙＰｒｏ． ＭＭＬＥ和ＭｙＰｒｏ． ＥＡＰ，分别用于估计项目参数估计和能力参数。用户可选择需要的功能，分别进行调用。　　ＭｙＰｒｏ． ＭＭＬＥ包含三个参数： ｖＤａｔａ，１ＭＮＣ和ｄＪＤ。最简单的情况下，用户只需要输入ｖＤａｔａ这个参数，这是考生在每个题目上的得分数据，按照以下形式排列（ｎ名考生，ｍ个题目）： 　　其中，１ＭＮＣ用于设定最大的迭代次数（默认为１００），ｄＪＤ用于估计精度（默认为０． ００１），这两个参数都是可选的。估计结束以后，会生成一个结果文件：ＥＭ． ＬＯＧ。包含Ａ与Ｂ参数的估计值，及其卡方检验结果。使用者可直接调用项目参数估计的这些结果。下面举例说明如何用一个Ｗｉｎｄｏｗｓ的脚本运行这一程序： ｓｅｔ ＭｙＰｒｏ＝Ｓｅｒｖｅｒ． ＣｒｅａｔｅＯｂｊｅｃｔ（ＩＲＴ． ＭｙＰｒｏ）ＭｙＰｒｏ． ＭＭＬＥ ｖＤａｔａ 　　ＭｙＰｒｏ． ＥＡＰ也包含三个参