试题公平性检验分析.pptVIP

试题公平性检验 1 试题公平性 （1）没有偏向 （2）一视同仁 （3）结果平等 （4）学习机会平衡 2 如何检验试题的公平性 2.1 内容分析 在某亚群体考生中是否有一定数量的考生 专门对某一题目提出质疑。 例1：2013年6月高考结束后，没有一个 考生就某道生物试题提出诉求。 例2：（中国汉语水平考试(HSK) ）“在 中国的医院看病,首先需要__号”。 2 如何检验试题的公平性 2.2 技术检验 对题目进行统计学分析检验，用数据实证。 2.2. 1 信度 信度是指测量结果的稳定性程度。它能够反 映考试的随机误差大小。 信度 重测信度 复本信度 分半信度 同质性信度 评分者信度 内部一致性系数 同质性信度：也被称为内部一致性信度，它可 以用来说明考试内部所有题目之间的一致性程 度。同质性信度高说明考试所测的内容或特质 的相似性高。 库德-理查逊公式（适用两级记分的测验 ） 克伦巴赫α系数（适用多级记分的测验） 克伦巴赫α系数： K为量表中题项的总数， S2i为第i题得分的题内方差， S2x为全部题项总得分的方差。 α＞0.8，极好 0.6 ＜ α＜0.8，较好 α＜ 0.6，较差 例1：有5题问答题，每题问答题配分是5分，施 测5名学生，以下是施测结果，请计算信度。 人名 题1 题2 题3 题4 题5 曾某 3 4 4 3 5 晁某 4 3 4 3 3 王某 2 3 3 2 3 胡某 4 4 5 3 4 梁某 3 2 4 3 3 张某 3 2 3 2 3 人名 题1 题2 题3 题4 题5 总分 曾某 3 4 4 3 5 19 晁某 4 3 4 3 3 17 王某 2 3 3 2 3 13 胡某 4 4 5 3 4 20 梁某 3 2 4 3 3 15 张某 3 2 3 2 3 13 S2i 0.4722 0.6667 0.4722 0.2222 0.5833 7.4722 用SPSS软件计算信度步骤一 输入数据 步骤二 按【Analyze】→【Scale】→【Reliability Analysis】将左边方格内的变项全选入右边items的方格内，在左下角的Model框中选取Alpha后按Statistics键。 步骤三 出现下列对话框候选取下列勾选处，  后按Continue键,再按OK键。 Reliability Coefficients 5 items Alpha = 0.8457 Standardized item alpha = 0.8609 例2：某年北京市理科生的英语高考公平性 其中男、女生分别为37 802 名和30 886 名， 城区考生38 344 名，郊区考生39 326 名，分 别作为性别、城乡的研究样本。 2.2. 2 试题功能差异分析 （Differential Item Functioning ,DIF）是试图 通过统计方法识别题目偏差的一种方法。通 常，试题功能差异结果可作为测验开发者进 行题目公平性判断的一个重要的标准。 卡方 MH STAND SIBTEST 逻辑斯蒂回归方法 IＲT CFA 等 MACS( mean and covariance structure) 对于多级记分题项的DIF检验，Sorbom 提出了均值与协方差结构分析方法 功能差异分析方法 大多适用于两级记分( 0、1 记 分) 题项的DIF 检验 MH分析方法 确定参照组R 、目标组F和匹配变量 数据分组(匹配小组) 统计每个匹配小组中参照组R和目标组F在某题目上的答对、答错人数 计算某题目的固定偏移比αMH和固定偏移比的标准化值MH D-DIF 组 正确人数 错误人数 总人数 参照组R Aij Bij NRij 对照组F Cij Dij NFij 总计 Mlij MOij Tij 某匹配小组j在某题目i上人数分布情况 αMH表示某题目的功能差异程度 αMH =(∑j Aij Dij/Tij)/ (∑j Bij Cij/Tij)为了便于理解，ETS将αMH标准化为 MH D-DIF=-2.35㏑(αMH) DIF显著性检验 MH D-DIF 绝对值 等级 显著性 ﹤1 A 忽略 ﹥1且﹤1.5 B 中间（修改） ﹥1.5 C 显著（删除） 例3：12名考生生物选择题1的答题情况和试卷总分