标准参照测验中标准设定的聚类分析法.pdfVIP

2010年 1月 南京师大学报 (社会科学版) Jan，2010 第 1期 JournalofNanjingNormalUniversity(SocialScience) NO．1 标准参照测验中标准设定的聚类分析法 汪存友，余嘉元 摘 要：针对标准参照测验中标准设定存在的问题，本文探讨了一种客观化标准设定方法：聚 类分析法，该法基于客观的实际测验数据 ，采用数理统计手段确定分界分数。首先阐述 了聚类分 析法应用于标准设定的逻辑基础，随后探讨 了基于聚类分析设定分界分数的基本方法和步骤，尤 其是如何检验聚类分析法的有效性。结合已有实证研究讨论了聚类分析法的优点与不足，并对 聚类分析的应用提出了若干建议。 关键词：标准设定；聚类分析；分类 ；分界分数 中图分类号：B841．2 文献标识码：A 文章编号：1001—4608(2010)01—0103—06 收稿 日期：2009—04—26 作者简介：汪存友，南京师范大学教育科学学院博士生；余嘉元，南京师范大学教育科学学院 教授 ，博士生导师 210097 的分界分数不同，甚至是同一批学科 内容专家、采 一 、 引言 用相同的标准设定方法、在不同场合设定的分界 标准参 照测验 (Criterion—referencedTest， 分数也不同 J。这引起了人们对标准设定方法 CRT)常需将被试区分为若干个等级水平，如：资 有效性的质疑。早在 1978年，Glass就指出：“(依 格认证测试中的合格／未合格，学业水平测试中的 赖于专家主观判断的标准设定)是非常武断的 掌握／未掌握 ，以及许多语言测试中的初级／中级／ (arbitrary)”，“(标准设定根本就是在)浪费时间 高级等等，它是离散尺度；然而，测验的结果是测 (wasteoftime)”Ls]。Shepard(1979)也对标准设 验分数，它是一个连续尺度。那么，被试的测验分 定提出批评：“(基于主观判断所设定的分界分 数必须达到多少才能被区分为更高的等级呢?为 数)根本就是错误的(fundamentallyflawed)”，并 此，心理计量学家必须为测验设定若干个分界分 号召人们 “尽量避免设定标准(avoidsettingstand— 数 (cutoffscore)，从而将不同等级水平的被试区 ardswheneverpossible)” 。其他的质疑声还包 分开来，这一过程被称为 “标准设定”(standard 括：Shepard等(1993)、Pellegrino等(1999)关于美 setting)cl, 。 国教育进展评估项 目标准设定的报告 …。尽 标准设定的方法有数十种 』，但几乎所有的 管这些批评并没有阻挡即使是延缓标准设定在实 方法都依赖于 “判断 (judgment)” 。以应用最 践领域的应用推广，但作为以严谨的统计手段为 为广泛的Angoff法为例，它要求遴选一批学科 内 特征的心理计量学领域之一，标准设定有必要反 容专家(subjectmatterexpe~)，专家在头脑中界定 思如何避开对学科 内容专家主观判断的完全依 一 组知识、能力或技能恰好介于两个等级水平之 赖 ，并迈 出一条客观化之路 。 间的 “边界考生 ”(borderlinecandidates)，然后逐 本文介绍一种新的标准设定方法：聚类分析 题判断 “边界考生”答对试题的概率，将所有试题 法(ClusterAnalysis，CA)，它回避 了对学科 内容 上的答对概率相加即得分界分数 J。可见，Ango— 专家主