主观性试题分数等值连接可行性初探.pdfVIP

理论与实践 heoryandPractice 主观性试题分数等值连接可行性初探 彭恒利 张秀秀 刘慧 摘要：等值是保证测验公平性的主要手段，主观性试题由于具有试题数量少、容易曝光、难度控制较难、 评分受评分者因素影响大等特点，其等值问题一直是测量界一大难题。研究从实际问题和现实需求出发， 使用了MHK口语的实测数据，采用非等组锚题的设计，将笔试客观题的听力理解部分作为锚题，尝试对4套 口试试卷进行了IRT等值处理，并以随机等组的办法对其等值效果进行了检验。研究结果表明，把听力理解 部分作为锚题进行口试试卷等值具有一定的可行性，因其中涉及许多问题，研究的结论还需进一步验证。 关键词：MHK；口试；主观性试题；等值连接 【中图分类号】G405 【文献标识码】A 【文章编号】1005-8427(2014)12-0024-8 上的等值的，目前所能做的是把不同主观性试题分 1 引言 数连接起来，通过一定的技术手段使彼此之间的分 等值是保证测验公平性的主要手段，目前许多 数具有一定的可比性，然后再作出相应的调整 这 大规模考试已经实现了测验中客观题的等值，使不 实际上做的是对不同主观试题的分数削峰填谷，与 同版本测验的客观题分数之间具有了可比性 而 “校准”（Calibration）有些类似 为了便于理解，这 主观性试题由于受到多种因素的影响，其等值问题 里暂且借用等值的概念，用等值连接来表述实现主 一直是测量界的一大难题，因而绝大多数考试的主 观性试题之间的可比性 观性试题分数是未经过等值处理的 MHK是面向国内母语非汉语的少数民族汉语 作为标准化的考试，从科学性上讲各套试卷间 学习者的一项国家级标准化考试，分为笔试和口试 应该是进行等值的，但如何实现主观性试题的等值 两部分 MHK虽早已实现笔试的客观题等值，但同 却不是可以轻松回答的 国际上许多著名考试机 样也面临着主观性试题等值连接的难题，其中口试 构对此或直接忽略回避，或内部解决不公开，这实 的等值连接问题更为迫切 目前，MHK口试采用 际上也说明了就目前的测量技术而言，直接实现主 “人机对话”的方式进行，受场地、硬件设备的限制， 观题分数之间的等值几乎是不可能的 因此，从严 各个考场的口试分批次进行 为防止考生泄题或 格意义上讲，主观性试题之间是无法实现真正意义 作弊造成的不公平，每批次使用的试题均不同，这 本文系国家语委“十二五”科研规划重点项目（编号：ZD1125-6)的研究成果之一。 [作者简介] 彭恒利，男，北京语言大学语言科学院，副研究员（北京 100083） 张秀秀，女，北京语言大学语言科学院，在读研究生（北京 100083） 刘 慧，女，北京语言大学语言科学院，助理研究员，博士（北京 100083） 24 中国考试 2014年第12期 样就出现了同一次考试，笔试只使用一套试题，口 口试评分的误差？抑或考生水平的差异？对于标 试使用多套试题的情况 由于不同套的口试试题 准化考试来说，不仅应做到命题和考试实施的标准 之间内容不一致，难度很难保证完全一致，这样在 化，也应做到阅卷评分和分数报告的标准化 在报 同一次MHK口试中，就会出现有的考生因碰到偏 告分数时，应设法消除或减少由于题目难度差异或 易的试题得分较高，有的碰到偏难的试题得分较 者评分