用信息函数法对标准参照测验作质量剖析.docVIP

用信息函数法对标准参照测验作质量剖析 　　摘 要 根据项目反应理论的信息函数法,以自主开发的“现代教育和心理测量通用分析系统”为工具,对两个大规模实施的标准参照测验进行了测验质量分析#65377;结果说明,信息函数分析法比经典真分数理论分析法,可以获得更丰富#65380;深刻#65380;有针对性的资料,能对项目筛选修订#65380;测验编制开发给出有力的指导,值得大力引进#65380;推广#65377; 　　关键词 信息函数,划界分数,估计标准误,项目反应理论,真分数理论#65377; 　　分类号 G449 　　 　　 1 问题的提出 　　 　　测验质量分析是筛选修订测验项目#65380;改进与保证测验质量的关键措施和必经工作环节#65377;在心理和教育测量理论发展过程中,经典真分数理论(CTT)已开发出一整套的技术来为此服务#65377;但由于其模型和策略思想上的局限,传统真分数理论的项目分析与测验质量检验技术虽起过重要历史作用,今天却显现出了许多严重不足:(1)分析有关测验质量的统计量,如项目难度#65380;区分度以及测验信度等,完全依赖于样本,结果难于普遍推广;(2)项目难度与被试水平定义在不同量尺上,无法直接联系与比较;(3)测量精度是针对整个被试团体来说的一个笼统值,不能具体问题具体分析;(4)项目难度与区分度分别评估求取,没有项目性能综合评价指标;(5)整个质量分析工作主要针对着测验总分来进行,最后只能通过试误筛选以组编测验,并无严格的逻辑来分析各个项目对全测验性能的影响,也不能主动按预定测验目标来挑选最恰当项目[1,2]#65377; 　　上世纪中期逐步发展起来的作为现代测量理论主要代表的项目反应理论(IRT),迳直以被试在测验项目上的作答反应作为分析对象,提出了揭示被试在项目上的答对概率跟内部潜在特质和项目测量特性间关系的数学模型,将项目难度合理地定义在特质水平量尺上,并采取统计估计方法,从实测数据出发来估出不依赖于样本资料的被试特质参数与项目性能参数;特别是,还定义了项目信息函数(item information function)与测验信息函数(test information function)这种真分数理论中根本没有提出过的科学概念,以此为工具来综合地#65380;动态地#65380;在不同条件下有区别地考察项目与测验的计量学性能,深刻而合逻辑地分析每个测验项目跟整个测验性能间的定量关系[1,2,8～11]#65377;因此,项目反应理论就给项目分析#65380;测验质量检验与测验开发编制,提供了许多崭新的极为有力的工具#65380;方法与策略#65377; 　　标准参照测验是现代心理和教育测量中一种重要的测验类型,其科学开发与编制,上世纪后期起,尤其受到测量学界的特别关注#65377;代表测验标准的划界分数(cutoff score)或者说合格线的准确把握问题,则是该种测验编制开发中的核心与关键[6]#65377;但是,在真分数理论框架中,项目难度定义在某一被试组上,是该被试组的通过率,能力水平则定义在某一测试项目组上,是该项目组上的通过率;这两种通过率虽然数字形式都是百分比,含义却截然不同,推论逻辑各相殊异#65377;于是,在标准参照测验中假定以掌握比例(一般可记为π?0)达到0.60的能力水平作为合格线即划界分数的话,人们并不能从这个0.60的数字出发,去选择难度为0.60或其它值的项目,以便合目的地编组出一个性能确属优良的测验来#65377;项目反应理论却不同,它已为解决标准参照测验质量分析以及测验的改进开发提供了新方法与新策略[1,2,9～11]#65377;然而,对项目反应理论的研究与应用,国内测量学界虽已做了不少工作,在参数估计#65380;测验等值#65380;计算机化自适应测验开发乃至项目有偏性探查等方面,都有良好成果[1～8],但用信息函数法对标准参照测验作质量分析的研究,迄今尚属少见#65377;所以,我们就集中了一定力量,为此开展了一些探索#65377;目的是要为我国心理与教育测量学界分析测验质量,引进新思路#65380;开拓新途径积累经验#65377; 　　 　　2 研究的方法与过程 　　 　　信息是一个重要的科学与哲学概念,可一般地定义为“不肯定性的消除”#65377;所获资料若信息量大,即意味着据此资料对应考察对象所作推论更可靠#65380;估计误差小#65377;在心理和教育测量中施测项目,正是要从被试在项目上的作答反应资料出发,去估计出被试内部潜在特质水平#65377;因此,若项目性能优良适于对被试水平作考察,根据被试反应资料估出的特质水平就可靠,误差就会小,亦即项目提供的信息量就会大#65377;资料的信息量是需要分析评估的,项目反