运用项目反应理估国际问卷指标沈学珺1.上海.PDFVIP

运用项目反应理论评估国际问卷指标 ——以喜爱阅读指标对本地学生的合适度为例 Applying Item Response Theory to Evaluate International Questionnaire Indices —Analysis of the Fit of Index of Enjoyment of Reading to Local Students as an Example 沈学珺1 （1. 上海市教育科学研究院，上海 200032） 【摘要】 本文采用项目反应理论中的拓广分部评分模型从四个方面评估了国际学生评估项目（PISA ）的喜爱阅 读指标对中国上海学生的合适度，以此为例探讨了如何运用项目反应理论的有效方法来对国际教育测评项 目的问卷指标进行本地化研究。研究结果表明该指标的组成项目对上海学生喜爱阅读程度的区分度在可接 受范围内，而且备选项的设置较为合理。但是，指标对于喜爱阅读程度低于平均水平的学生有最高的测量 精确度，另外还发现有冗余项目。在删除冗余项目后，精简指标与长指标的综合评分高度相关。 【关键词】项目反应理论；拓广分部评分模型；PISA 1 引言 项目反应理论（Item Response Theory, 简称IRT）相对于 经典测量理论（Classical Test Theory, 简称CTT）而言是新型的测量理论。它又称潜在特质理论，其核心理念就是被测者 的综合特质，例如学生的阅读素养水平、喜爱阅读的程度和家庭社会经济背景等是无法直接 观察得到的潜在特质，只能通过分析被测者对于项目 （即试题或问题）的反应（即回答）来 得到估算。IRT 主要体现的就是被测者对于项目给出特定回答的概率与被测者的潜在特质以 及项目特性之间的关系，它包括一系列相关模型。 IRT 在认知测试的应用中已经较为深入和广泛（国际上大型认知测试如TOEFL, GRE, 以 及PISA 和TIMSS 的认知部分的设计、分析、计分等环节均以IRT 作为主要理论依据），同时 IRT 也越来越多地在国内（郭庆科，陈英敏，2005；杨业兵等，2008；朱宁宁，张厚璨，2003） 和国外（Brodin, Fors Laksov, 2010；Edelen Reeve, 2007；McCormack, Masse, Bulsara, Pikora Giles-Corti, 2006；Reeve Fayers, 2005）被应用于编制、分析和评估非认知 问卷指标中。国际学生评估项目（Programme for International Student Assessment, 简 称PISA）的非认知问卷的综合指标就是通过IRT 来设计和计分的。 PISA 是由经合组织（Organization for Economic Co-operation and Development, 简 称OECD）发起和组织一个学生能力国际比较研究，主要测量15 岁的学生在多大程度上掌握 了全面参与社会所需要的终身学习能力。由于PISA 的测评对象是国际学生样本，其通过IRT 评估指标的性能中主要考虑的对象是从各国抽取的全体学生样本。在本文中，为了评估国际 问卷指标对中国上海本地学生的合适度，所针对的群体仅仅是我国上海市的15 岁学生，所 运用的 IRT 模型是同时提供位置参数和区分度参数的拓广分部评分模型 （Generalized Partial Credit Model, 简称GPCM）。本文以PISA 2009 中的喜爱阅读指标为例，来说明如 何用IRT 来评估国际问卷指标针对本地学生的性能和提高指标对本地学生的合适度。 2 方法 2.1 应用 IRT评估国际问卷指标对本地学生的合适度 根据CTT，计算指标的综合评分的方法是把对于每个项目的回答值叠加起来，用一个总 通讯作者：沈学珺，E-mail: xuejuns@ 基金项目：上海市教育科学研究项目（B12142） 1 和或平均值来代表被测者的潜在特质水平。如果运用这样的叠加法进行运算的话，其前提条 件是项目的所有备选项，如莱克特(Likert-scale)问题的“非常不同意”、“不同意”、“同意” 和“非常同意”备选项，之间在按照顺序排列后俩俩之间是等距的。然而，在多种IRT 模型， 包括GPCM 中，并