打通题库建设瓶颈的关键手段——基于Rasch模型的题目参数等值技术.pdf

•测评新视点 测 量 与 打通题库建设瓶颈的关键手段 —— 基 于 R a s c h 模 型 的 题 目 参 数等 值 技 术 杨志明 【摘 要 】出 于 考 试 安 全 性 的 考 虑 ，题 目 参 数不 等 值 的 问 题 已 经 成 了 题 库 质 量 不 高 、作 用 不 大 ，并直接损害 考 试 信 度 、效 度 和 公 平 性 的 一 个 突 出 瓶 颈 。文 章 以 Rasch模 型 为 例 ，结合 WIKSTEPS软 件 ，对题目参数等值的 意 义 、Rasch模 型 的 特 点 、等 值 设 计 的 方 案 ，以 及 三 种 国 际 流 行 的 题 目 参 数等 值 方 法 ，即 同 时 校 准 方 法 、独立 校 准 和 链 接 相 结 合 方 法 、固 定 参 数校 准 方 法 ，进 行 了 详 细 解 读 。期 待 这 些 技 术 可 以 为 我 国 的 题 库 建 设 和 考 试 工 作 带 来 积 极 意 义 。 【关键词】Rasch模 型 ；题 库 ；等值 【中图分类号】 40-058.1 【文献标识码】 A 【DOI编码】10.16518/j .cnki .em ae .2017.01.002 为了适应大规模、多批次考试的社会需求， 考试的科学性、有效性和公平性。 许多考试部门借助I T 技术，已经或正在投人大量 首先，题目参数是否等值决定了题库的质量 的人力、物力、财力和时间资源，建设各种类型的 和价值。在题目参数不等值的情况下，不同批次 考试题库。然而，有证据表明，许多题库并没有发 考试所得的分数往往不是同一个含义，彼此无法 挥应有的价值，有些正在使用的“题库”也由于缺 直接比较。这就导致“一考定终身”等问题无法得 乏等值的题目参数而常常导致错误或不恰当的 到有效解决。另一方面，由于题目参数不等值，所 分数报告。显然，题目参数等值问题已经成为了 有根据题库所制作的试卷难度和区分度很难得 阻碍题库建设、影响题库作用发挥以及损害考试 到有效控制。于是，因为获得满分或高分的人数 公平性的瓶颈。为了打破这个瓶颈，很有必要参 太多而无法有效区分高水平考生，或因难题太多 考国际考试行业广泛使用的题目参数等值技术。 而导致合格录取线只能设定为40分或30分、录 其中，基于项目反应理论 （item response theory ， 取决策主要取决于随机瞎猜等难堪后果就成为 IRT )的同时校准方法 （concurrent calibration )、独 必然。 立校准与链接相结合的方法 （separate calibration 其次，题目参数不等值的题库，无法有效保 with linking )，以及固定参数校准方法（fixed item 障测量信度、效度和考试的公平性。目前，不少以 parameter calibration，FIPC )就特别值得借鉴。[1]为 I T 为核心的单位已经通过“爬虫”技术等手段，收 方便题库建设者和考试一线工作者的工作，本文 集了海量的题目，建成了“题库”，甚至宣称已经 简 要 讨 论 IR T 框架下单 参 Logistic模 型 ，即 运用大数据技术预估了题目难度，或者通过实际 Rasch(饶希模型的题目参数等值技术。