教育测量及评价质量特性.pptVIP

教育测量与评价的质量特性 2004.10.25 主要内容 教育测量与评价的信度 教育测量与评价的效度 教育测量与评价中题目（项目）的难度 教育测量与评价中题目（项目）的区分度 教育测量与评价的效度 一、效度的定义 测量的有效程度 一个测验或量表实际能测出其所要测量的特性的程度 记为： 效度的统计定义 X=T+E，T＝V＋I，即：X＝V＋I＋E 有 则： 教育测量与评价的效度 二、效度的类别 内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度 结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度 效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度 教育测量与评价的效度 二、效度的类别 内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度 结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度 效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度 三、各类效度的验证方法 1.内容效度的验证方法 逻辑分析法（定性的方法） 依据教材内容、教学大纲的范围以及教学目标分析测验内容，检查测验内容究竟在体现教材内容和教学目标方面达到多大程度 对每一道题目逐一进行审查，以此形成“题目双向细目表” 与“命题双向细目表”加以对照，以确定试卷的效度 统计分析法（定量的方法） 克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数） 评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度） 前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度） 三、各类效度的验证方法 2.结构效度的验证方法 建立理论框架 从理论框架出发，提出各种假设 根据假设编制测验 以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设 比如：中学生数学能力的研究 数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。 编制测验，施测并收集测验结果 分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想 三、各类效度的验证方法 3.效标效度的验证方法 效标：检验测验效度的外在的、客观的标准，即效度的标准 效标效度，也称为效标关联效度，也称为实证效度 验证方法是指一个测验对处于特定情境中的个体行为进行预测时的有效性 例： 高考成绩预测大学学习成绩 能力倾向测验预测工作成效 分类： 同时效度：测验分数与效标资料的取得约在同一时间内连续完成，这两种资料的相关系数即为同时效度 目的：诊断现状 预测效度：测验分数取得一段时间后才获得效标资料，计算这两种资料间的相关系数 目的：预测某个个体将来的行为 效标效度的估计方法 相关法 直接计算测验分数与效标分数的相关系数 积差相关、等级相关、二列相关等 显著差异法 根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性 命中率 当测验用作取舍决策时，常使用命中率 相关概念：总命中率、正命中率、负命中率 总命中率高，则测试的效度高 例： 70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？ 教育测量与评价中题目（项目）的难度 一、难度的含义 难度是指测验项目的难易程度，记为 P 在教育测量中 P＝正确回答试题的人数/参加测验的总人数 二、难度的计算 客观试题（二分法记分）： P＝R/N R：答对该题的人数；N：参加测验的总人数 对选择题的解答，因被试可猜测，故需对难度系数加以校正 CP=(KP-1)/(K-1) CP：校正后的难度值；P：实际得到的通过率；K：选项数目 例：一个题目的难度值为0.75，分别计算此题有四个选项、三个选项、两个选项时大的难度值 教育测量与评价中题目（项目）的难度 二、难度的计算 客观题的极端分组法 根据测验分数按高低排序，用两个极端组在某项目上的平均通过率表示项目的难度 P＝（PH＋PL）/ 2 步骤： 按测验总分由高到低排序 从高分段向下选出全部试卷的27％作为高分组 从低分段向上选出全部试卷的27％作为低分组 按照上述公式计算项目难度值 例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？ 教育测量与评价中题目（项目）的难度 二、难度的计算 主观题的平均数法 主观题的极端分组法 XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％ 教育测量与评价中题目（项目）的难度 三、难度的转换 难度指出的仅仅