一种基于Rasch模型Angoff方法及其应用.docVIP

一种基于Rasch模型的Angoff方法及其应用 　　摘 要：水平厘定方法在近二十年来发展迅速，其中Angoff方法的应用最为广泛。该文在已有的方法上提出了一种基于Rasch模型的改进的Angoff方法，该方法使用Rasch模型来估计典型学生的位置，通过均方残差等方法剔除不一致的裁判。文章最后详细阐述了该方法在香港全港性系统评估中的应用。 　　关键词：水平厘定；Angoff方法；全港性系统评估 　　中图分类号：B841.2 　　 文献标识码：A 文章编号：1003-5184(2008)04-0076-04 　　 　　近年来，为了监控基础教育的教育质量，很多国家采用水平参照评价（standard-referenced assessment）来报告学生在主要学习科目上达到何种水平，例如合格、良好和优秀。传统的标准参照评价（criterion-referenced assessment）制定的准则比较明确，往往针对某一个具体的测验，指出学生应该会做什么。而水平参照评价厘定的水平更为广泛和一致，体现了一个国家或地区的教育系统对学生在普适的能力或者学科上的目标或者期望。 　　水平参照评价的关键技术是水平厘定（standard setting），包括质和量两个方面。其质的方面是：学科专家根据某个学科内在的要求，获得每个水平的质的描述（standard description）；其量的方面是：使用合适的水平厘定方法，获得量化的切点分（cut score），以此来划定学生达到了哪个水平。 　　水平厘定方法近二十年来发展很快，1986年Berk总结出已有38种水平厘定方法［2］，到1996年则有超过50种方法面世［3］。其中，Angoff方法是应用最为广泛的一种水平厘定方法，其中很多方法都是基于该方法的改进，尤其是和IRT的结合使得该方法获得了更大的发展空间。文章提出了一种基于Rasch模型的Angoff方法，并将它应用于香港全港性系统评估的水平厘定中。 　　 　　1 Angoff方法及改进的Angoff方法 　　 　　1971年Angoff介绍了一种非常简单的水平厘定的方法［4］，后来得到广泛使用,并且被使用者们不断改进，形成了一类Angoff方法。 　　1.1 传统的Angoff方法 　　在传统的Angoff方法中，由学科经验丰富的教师和专家组成裁判小组，来决定一个典型的刚刚达到某个水平的最低能力学生（下文简称为典型学生）正确回答测验题目的概率。将裁判设想的典型学生对每个题目的答对概率相加，并对所有裁判取平均就得到了该水平的“切点分”。学生的分数大于切点分，就认为达到该水平，反之则认为这个学生未达到该水平。 　　由于该方法需要裁判想象自己心目中的典型学生在测验题目上的答对概率，认知过程非常复杂，很难获得判断的一致性，遭到了很多研究者的强烈批判，认为其具有“根本性的缺陷”［5，6］。 　　1.2 改进的Angoff方法 　　很多研究者针对Angoff方法的不足进行了改进，主要的改进如下。 　　1.2.1具体化答对概率 　　美国教育测验服务机构（Educational Testing Services，简称ETS）在1976年对Angoff方法进行了改进［7］，将概率值具体为几个百分率（5％，20％，40％，60％，75％，90％，95％），供裁判选择。裁判选择了每个题目上的答对概率之后，将每个裁判的所有题目上的概率相加，再对所有裁判求平均获得切点分。 　　1.2.2将答对概率简化为是/否的二分判断 　　Nassif进一步将Angoff方法简化为只要求裁判判断典型学生是/否答对题目，用裁判选择能够答对的题目在整份试卷中所占的百分比作为切点分［8］。 　　1.2.3反复进行判断 　　Jaeger使用了Nassif的方法，也将Angoff方法简化为只需要做二分判断，而且在两轮轮判断之间，裁判将会讨论他们第一轮判断的结果；讨论之后再进行第二轮的最后判断［9］。 　　1.2.4提供参考信息给裁判，帮助裁判进行判断 　　Jaeger后来同样使用二分判断的Angoff方法，而且在第二轮评定过程中间，提供给裁判其他裁判的判断结果分布、学生实际数据的题目难度值。裁判根据这些参考信息再进行第二轮的最后判断［10］。 　　1.2.5使用IRT来计算切点分 　　 Kane和Taube分别使用IRT中的二参数Logistic模型和Rasch模型计算切点分［11］，［12］。下面以Taube的方法为例，简要说明计算方法。 　　第一步：通过Rasch模型获得该测验的期望分数和能力量尺的关系。 　　第二步：将每个裁判在每个题目上的判断结果相加，得到测验的原始分的切点分，再根据测验期望分数和能力量尺的关系，找到相应的