教育测验编制与数据处理初步课件.ppt

决策一致性 0.4 0.1 0.3 0.2 未达标 达标 未达标 达标 基于测验版本一的结果 基于 测验 版本 二的 结果 0.7 0.3 0.5 0.5 P=0.4+0.2=0.6 决策准确性 0.4 0.2 0.1 0.3 未达标 达标 未达标 达标 学生实际达标情况 基于 测验 分数决策结果 0.5 0.5 0.6 0.4 P=0.4+0.3=0.7 影响测验信度大小的因素 r =.225 r =.725 测验信度系数的大小受所测样本变异性的影响 影响测验信度大小的因素 r =.187 r =.225 r =.886 测验信度系数的大小受样本能力与测验难度匹配程度的影响 信度系数与测量误差的关系 为什么信度（误差）分析很重要 T X 0 100 90 80 70 60 50 40 30 20 10 测验质量分析：测验效度 测验效度 比较测验题目与考察领域的一致性 分析学生解决题目的认知过程 比较不同参照群体的分数 比较学习前后的测验分数 与其他相关测验分数的相关 与标准相关的指标的相关 1、决定与测验相关的课程标准 2、选择评审的相关学科专家组 3、拟定评审的维度和问题 4、呈现测验题目、相关课程标准、评审量表 5、收集专家的评审数据 测验效度:测题与课标一致性 一致性的维度 1、内容领域或主题的一致性 2、知识深度水平的一致性 3、知识范围对应性 4、知识表征的平衡性 Webb模式 1、回忆 关键词： 鉴别、再认、使用、测量 2、技能/概念关键词：分类、组织、估计、比较 3、策略性思维 关键词：根据观察得出结论；解释；问题解决 4、扩展性思维 关键词：形成并论证预测；设计实验；评价实验设计 测验效度:学生问题解决过程 认知访谈的方法 测验效度:不同参照群体的分数 测验效度:不同处理条件的分数 测验效度:与其他测验分数的相关 测验效度:与标准变量分数的相关 r(X,Y) =0.9 r(X,Y) =0.5 X Y * * 开发测验任务：论述题 理解水平 详细描述 扩展性抽象水平 (Extended Abstract) 该水平上的反应不仅包括所有相关的信息，而且整合了问题中所没有提及，然而与问题解答相关的信息。 联系水平 (Relational) 该水平反应整合了问题所提及的所有相关信息。 准联系水平 (Semi-Relational) 该水平反应将问题中提及的部分,但不是全部相关信息综合成一个自圆其说的解答 前联系水平 (Plural) 该水平上的反应运用了问题提及的多种相关信息(不是全部),但没有将其加以综合 单一水平 (Unitary) 该水平上的反应只运用了问题提及的一种相关信息 前结构化水平 (Pre-Structural) 该水平上的反应只包括无关信息 开发测验任务：表现性题目 利用提供的工具：灯泡、电池和电线，找出左边6个不可视箱子 中是右边五种不同组合的哪一种？ 注意：有两只箱子中的东西是一样的。 A B C D E F 提示：你可以将箱子连到某个电路中 两节电池 电线 灯泡 电池和灯泡 空箱 测验编制的基本流程 测验对象 评价目的 测量变量或属性 开发测验蓝本 开发选择评价任务 鉴定测验质量 题目分析 测验分析 使用 阶段1 阶段2 阶段3 阶段4 测验质量分析：题目分析 1、题目效度 2、题目难度 3、题目区分度 4、题目公平性 （题目偏差分析） 测验质量分析：题目效度 某个题目是否考察了我们想要考察的东西？ 测验质量分析：题目效度 如果 X2 +X-3 =3, 那么 X=? 如果 X2 +X-3 =3, 那么 X=? -2 B. 1 C. 2 D. 3 测验质量分析：题目效度 项目解决的认知访谈 通过言语报告了解： 学生对题目表述的理解是否与预期一致 学生解答题目的过程是否与预期一致 限制或促进学生解答的因素（题型、关键词、选项） 其他可能因素 六、Choose the word or expression which is closest in meaning to the underlined part in each sentence. A. want to B. is a shop assistant C. stopped D. people who are ill E comes home from work ( ) 1. Lucy usually sells things to people. ( ) 2. Nurses help doctors to look after sick people. ( ) 3. They would like to be policemen in the future