第八章化学测量工具的评价刘妍分解.ppt

* * 4）同质性信度 当项目采用二分法计分时，可用库德—理查逊公式计算 K：整个测验的项目总数 Pi：项目i的通过率 Qi=1－Pi S2x：测验总分的变异数 4）同质性信度 当项目属于论文式类型，采用连续分数计分时，可用克隆巴赫的α系数公式计算： α：信度系数 K：项目总数 S2i：项目i得分的方差 S2T：试题总分的方差 信度估计的几种方法 信度类型 误差来源 测量次数 需试题数 计算方法 再测信度 复本信度 再测复本信度 分半信度 同质性信度 时间取样 内容取样 内容，时间取样 内容取样 内容取样 2 1 2 1 1 1 2 2 1 1 求两次测验分数的相关系数 求两个复本分数的相关系数 同上 求两半试题分数的相关系数 1) 库德—理查逊公式 2）科隆巴赫α公式 第三节 试题的效度 效度指测验的有效性，即一个测验能够测出其所要测量的特性或功能的程度。 在测量理论中，效度的定义：在一次测量中，与测验目的有关的有效变异数与测验总分变异数的比率： 常用效度及估计方法 1、内容效度：根据测验目的确定的测验内容所引起的预期反应达到测验目的的程度。 如何判断一份化学试题内容效度： 1）考察测量的目的、测量目标的分类体系，了解试题取样的依据和材料来源。 2）考查试题的双向细目表，看是否符合化学教学大纲和考试目的的要求。 3）逐个考察每个项目，包括项目内容、参考答案、评分标准等，并与双向细目表对照，看项目能否代表其测量目标。 4）综合上述考察结果，对试题内容效度作出判断。 2、构想效度 指测验对预先设立的某一理论上的概念、构想或研究特性的实际测量程度。 如何判断一个测验的构想效度： 1）确定能够解释学生在测验上表现得理论构想 2）根据理论构想推演出各种关于学生测验成绩的假设 3）用逻辑分析、统计分析等方法搜集证据、验证假设 3、效标效度 指测验分数与效标的相关程，效标是检验测验有效性的一种参照标准。 效标效度的估计方法： 相关法 显著性检验法 预期表法 命中率法 类型 意义 估计方法 内容效度 测验内容反映测验目的、要求的程度 逻辑分析 构想效度 测验分数能用理论构想加以解释的程度 提出假设和验证假设 效标效度 测验分数与校标分数之间的相关程度 计算两种测验分数之间的相关系数 三种效度的意义及估计方法： 第四节 项目质量评价 一、项目的难度分析 1、难度的意义及其计算 1）通过率:P＝R/N（项目以二分法计分） 2）用项目得分的平均值计算: 项目以连续分数计分） 二、项目难度对测验结果的影响 1、对分数分布形态的影响 2、对测验鉴别能力的影响 三、项目难度的评价 评价项目难度是否合适的依据，只能是测验的目的。要对测验中的项目难度比例进行合理配置，必须在测验整事实施之前就对项目难度做出准确判断，要注意的是，仅仅依靠主观经验来确定项目难度是不够的，因为项目难度不仅取决于编制水平，还与被测学生的具体情况有关。 二、项目的区分度分析 1、区分度意义 2、区分度计算 1）用内部一致性系数计算 积差相关法： 二、项目的区分度分析 点二列相关： 例题：一测验中某选择题的通过率为0.5，答对者的测验总分平均76分，答错者为63分，全体被测总分标准差为16，计算这道题的区分度。 假设被测总人数为20人，查相关系数显著性临界值表，df=20-2=18, 0.05水平临界值为0.444.因为0.41＜0.444，所以 值不显著，此题区分度不具有统计上的显著意义，故可认为该题不够理想。 二列相关： 对同一组资料，二列相关与点二列相关的关系： 四分相关： a（+ +） b（+ —） c（— +） d（— —) 及格（+） 不及格（—） 通过（+） 不通过（—） 测验总分 项目分数 二、项目的区分度分析 相关： 二、项目的区分度分析 2）用极端分组法计算 项目用二分法计分： D＝ PH－PL 项目以连续分数计分：