教育测量与评价的质量特性.ppt

教育测量与评价的效度二、效度的类别内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度第5页,共18页，星期六，2024年，5月三、各类效度的验证方法1.内容效度的验证方法逻辑分析法（定性的方法）依据教材内容、教学大纲的范围以及教学目标分析测验内容，检查测验内容究竟在体现教材内容和教学目标方面达到多大程度对每一道题目逐一进行审查，以此形成“题目双向细目表”与“命题双向细目表”加以对照，以确定试卷的效度统计分析法（定量的方法）克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数）评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度）前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度）第6页,共18页，星期六，2024年，5月三、各类效度的验证方法2.结构效度的验证方法建立理论框架从理论框架出发，提出各种假设根据假设编制测验以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设比如：中学生数学能力的研究数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。编制测验，施测并收集测验结果分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想第7页,共18页，星期六，2024年，5月三、各类效度的验证方法3.效标效度的验证方法效标：检验测验效度的外在的、客观的标准，即效度的标准效标效度，也称为效标关联效度，也称为实证效度验证方法是指一个测验对处于特定情境中的个体行为进行预测时的有效性例：高考成绩预测大学学习成绩能力倾向测验预测工作成效分类：同时效度：测验分数与效标资料的取得约在同一时间内连续完成，这两种资料的相关系数即为同时效度目的：诊断现状预测效度：测验分数取得一段时间后才获得效标资料，计算这两种资料间的相关系数目的：预测某个个体将来的行为第8页,共18页，星期六，2024年，5月效标效度的估计方法相关法直接计算测验分数与效标分数的相关系数积差相关、等级相关、二列相关等显著差异法根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性命中率当测验用作取舍决策时，常使用命中率相关概念：总命中率、正命中率、负命中率总命中率高，则测试的效度高例：70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？第9页,共18页，星期六，2024年，5月教育测量与评价中题目（项目）的难度一、难度的含义难度是指测验项目的难易程度，记为P在教育测量中P＝正确回答试题的人数/参加测验的总人数二、难度的计算客观试题（二分法记分）：P＝R/NR：答对该题的人数；N：参加测验的总人数对选择题的解答，因被试可猜测，故需对难度系数加以校正CP=(KP-1)/(K-1)CP：校正后的难度值；P：实际得到的通过率；K：选项数目例：一个题目的难度值为0.75，分别计算此题有四个选项、三个选项、两个选项时大的难度值第10页,共18页，星期六，2024年，5月教育测量与评价中题目（项目）的难度二、难度的计算客观题的极端分组法根据测验分数按高低排序，用两个极端组在某项目上的平均通过率表示项目的难度P＝（PH＋PL）/2步骤：按测验总分由高到低排序从高分段向下选出全部试卷的27％作为高分组从低分段向上选出全部试卷的27％作为低分组按照上述公式计算项目难度值例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？第11页,共18页，星期六，2024年，5月教育测量与评价中题目（项目）的难度二、难度的计算主观题的平均数法主观题的极端分组法XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％XffxXffx高分组1010100低分组1000886485