基于随机交叉设计的试题计分误差来源及可靠性分析.pdfVIP

2014年2月 台州学院学报 Vo1．36，No．1 第36卷 第 1期 JournalofTmzhou University Feb． 2014 基于随机交叉设计的试题计分误差来源及可靠陛分析 秦 嵩 王震蕾 (1．台州学院 经贸管理学院，浙江 台州 318000； 2．杭州电子科技大学 经济学院，浙江 杭州 310018) 摘要：概化理论在标准化参照系测验、非标准化测验、教师教学评价和人事测评等领域得到了广泛应 用。通过对某高校运筹学试题进行随机交叉设计，探讨考试试题的计分误差来源和试题可靠性。研究表 明，考生通过试题所获得的分数与掌握课程的真实水平之间的差异来自于考生本身掌握知识的水平、试 题难易度以及考生和试题两者的交互效应。通过计算得 出在不同题型下的变异分量估计值和试题可靠 值 ，为测评试题的区分度和稳定性提供 了一种工具。 关键词：随机交叉设计；计分误差；可靠性；试题 中图分类号：G449．7 文献标识码：A 文章编号：1672—3708(2014)01—0061—05 来越广泛，如标准化参照系测验、非标准化测验、 一 己 【 吉 、 3 1 日 教师教学评价和人事测评等领域。 教育领域的测验、企事业单位的人才选拔、绩 我国学者如杨志明和张雷合著的 测《评的概 效考核等的测验项 目越来越多，试题是否能真正 化理论及其应用》一书，较系统的阐述了该理论的 反映被试者能力或对某项知识的掌握水平，以及 概念以及不同实验设计情景研究。刘晓陵开展了 试题针对不同被试群体是否有一致的稳定性和可 基于课程标准的初中标准化数学成就测验的编制 靠性的研究越来越备受关注。 研究，利用多元概化理论对心理测量学特征进行 1905年，比纳一西蒙量表的产生标志着科学标 鉴定，对测验的项 目质量、效度和信度进行了分 准化考试产生。1950年，美国学者古里科森出版 析[4]。毛翠云利用多元概化决策建立创业潜质胜任 《心理测验的理论》，第一次用公理化方法系统总 力脑象图优势特征测评模型，用于综合评价创业 结了标准化考试的原理和方法 ，出现了较为成熟 胜任力 。田金亭利用概化理论对基于同感评估技 的经典测验理论(c1Tr)。由于CTr体系存在对考生 术的中学生创造力评价进行了测评 ，并得到总测 真实水平的判定过度依赖于考题样本，对考生能 验比单个测验能更好地测量学生的创造力水平 ， 力估计的精度不恰当，题 目难度参数与考生能力 以及创造力具有特定领域化倾向 】。国内学者大多 参数定义于不同量表，不利于改进测验并达到预 将概化理论应用于中小学或高考、雅思等测验中， 期 目标等缺陷，所以出现了讨论测量条件等考试 鲜有对高校某课程的试题质量和信度进行研究。本 外部效度的研究，并逐渐发展成概化理论n。克龙 文以某高校运筹学课程为研究对象，来测评考生对 巴赫等人发表 概《化理论 ：信度理论 的丰富和发 于该门课程的掌握程度，并进一步利用概化理论比 展》标志着概化理论的诞生f2】。1972年出版了第一 较不同试题类型下的考试结果的可靠性程度。 部关于概化理论的权威专著 《行为测量的可靠性： 二、概化理论基本方法 用于测验分数和剖面图的概化理论》 。随着研究 水平及计算机技术的发展 ，概化理论应用范围越 概化理论是根据测量 目的，选择测量侧面及 收稿 日期：2013—