教育测量及评价及难度及区分度.ppt

教育测量与评价的难度与区分度 2005－11－21 教育测量与评价中题目（项目）的难度 一、难度的含义 难度是指测验项目的难易程度 刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，用符号 P表示 在教育测量中，P＝正确回答试题的人数/参加测验的总人数 二、难度的计算 客观试题（二分法记分）： P＝R/N R：答对该题的人数；N：参加测验的总人数 对选择题的解答，因被试可猜测，故需对难度系数加以校正 CP：校正后的难度值；P：实际得到的通过率；K：选项数目 例：某次测验中，20个学生中有15人答对了某一选择题，分别计算此题有四个选项、三个选项、两个选项时的难度值 教育测量与评价中题目（项目）的难度 二、难度的计算 客观题的极端分组法 根据测验分数按高低排序，用两个极端组（高分、低分）在某项目上的平均通过率表示项目的难度 步骤： 按测验总分由高到低排序 从高分段向下选出全部试卷的27％作为高分组 从低分段向上选出全部试卷的27％作为低分组 按照上述公式计算项目难度值 例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？ 教育测量与评价中题目（项目）的难度 二、难度的计算 主观题的平均数法 主观题的极端分组法 公式： 步骤 按测验总分依次排序，确定比例各为25％的高分组和低分组 为高分组、低分组分别编制每题得分的分析表（试题分析表） 用上述难度公式计算难度值 教育测量与评价中题目（项目）的难度 公式的含义： XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％ 问题： 有3道试题（A、B、C），它们的难度P值分别为0.85、 0.75 、0.65，试比较这三道题目的难度差异情况。 我们能说： 我们不能说： 如何进行差异比较？ 教育测量与评价中题目（项目）的难度 三、难度的转换 难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小 一般情况下，测验分数呈正态分布 利用正态分布表，可将P转换成具有相等单位的等距变量 补充：量表的类型 测量：按照一定规则对事物的属性进行量的规定，即：按照法则给事物指派数字 1. 名称量表 类别量表，最低层次的量表，用于分类，表示事物的不同类别和性质 用数字表示每一个研究个体：学号、准考证号 用数字代表事物的类别：“1”、“0”表示“好”、“坏” 2. 顺序量表（等级量表） 也称位次量表，根据事物的特性和设定的法则在分类的基础上确定同类客体中各元素之间的相对顺序 只关心研究对象的顺序，不问津间距是否一致 如：合格与否、优良中差等 3. 等距量表 间距量表，在赋值时有相等的度量单位，采用相对零点，被测所对应的测量值由明确的距离关系 原始测验分数经过统计处理后推导出一种新的量表分数，此分数的“零点”是一个相对零点 4. 比率量表 具有等距量表的一切性质，采用绝对零点。 针对总体而不是样本 不但能确定一个被测比另一个被测大（小）多少，而且还能得出其间的倍数关系 四种量表的比较 正态分布的特征 平均数上下各一个标准差的范围分别包含了全部人数的34％ 若某项目有84％的学生通过，这道题的难度在平均数以下一个标准差的位置，由0.84－0.50＝0.34去查Z值，Z＝－1σ 若一个项目的难度位0.16，则这个项目的难度在平均数以上一个标准差的位置，由0.50－0.16＝0.34去查Z值，Z＝σ 若某个项目有50％的学生通过，这个项目的难度落在下图0的位置上 教育测量与评价中题目（项目）的难度 三、难度的转换 P向Z的转换 假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将P值作为正态曲线下的概率面积，以此转换成Z分数 问题：三道题目的难度系数为0.65、 0.55 、0.45，比较其差异。 教育测量与评价中题目（项目）的难度 三、难度的转换 Z分数向Δ分数的转换： 教育测量与评价中题目（项目）的难度 教育测量与评价中题目（项目）的区分度 一、区分度的概念 区分度是测验对被试实际水平的区分程度 是测验项目分析的重要内容 是作为评价项目质量、筛选项目的主要指标与依据 通常用D表示，取值范围为＋1.00至－1.00 D越高时，试题的质量越好 D为正时，试题积极区分 高分组通过率高，低分组通过率低 D为负时，试题消极区分 高分组通过率低，低分组通过率高 教育测量与评价中题目（项目）的区分度 二、区分度计算方法 极端分组法 客观性试题区分度的计算公式： D＝PH－PL 按测验总分从高到低排序 确定测验总分最高的27％的被试作为高分组，最低的27％的被试为低分组 分别求出这两组被试通过试题的百分比 将算得的有关数据带入上公式 主观性试题区