教育测量红.ppt

分析考试结果，探索改进教学 北京师范大学心理学院 刘红云 hyliu@bnu.edu.cn 主要内容 考试结果分析的目的 试卷编制的基本过程 试卷分析的两个视度 常用的量化分析方法 挖掘信息，体现教育评价的诊断功能 考试结果分析的目的 考试结果分析的两个方面 服务于教育行政部门，完成考试职责 服务于学校教学，改善提高教学质量 考试结果分析的目的 服务于教育行政部门，完成考试职责 主要着眼于考生学科整体情况的分析，学校感兴趣的是某次学生考试的整体结果，很少关注个别学生的反应，也很少关注个别试题上学生的反应。 考试结果分析的目的 服务于学校教学，改善提高教学质量 不仅关注学生在不同科目上的整体做答情况，而且关注学生在不同知识点、不同能力层次上的做答情况，同时给出不同群体在不同属性题目上做答情况，为教师改进教学提供实际的依据。 试卷编制的过程 可靠的测量结果来源于高质量的试卷 怎样的试题才是 “好”试题 符合新课程标准，体现新课程理念 符合教育测量学的要求 命题改进的两个主要方向 试题如何更好地体现新课程理念 如何提高考试的科学化水平 试卷编制的过程 试卷发展的基本程序 澄清测验使用的目的与测量结构 辨别用以表征所测量结构的范围 发展题目编制的细目表 准备试卷的细目表 题目编制 考虑试题的格式 题目审查 题目的预试 试题分析 确定试卷，编写试卷使用手册 2005年宜昌中考命题过程 （1）2005年5月，确定测量结构，确定各科测试的双向细目表； （2）2005年6月，封闭命题（每学科命制了三套平行的试题）； （3）专家审题； （4）预测分析； （5）根据预测分析结果，命题专家进一步修改打磨试题，并调整评分标准； （6）每学科形成一套最终测试试卷，专家审定； （7）提交试题。 试题（卷）质量分析的两个视角 质性分析 量化分析 质性分析 质性评价的方法是我国教育评价中广泛采用的方法，大批有经验的专家和一线教师凭借丰富的经验，通过对试题进行质的分析，为改进命题质量起到了积极地不可替代的作用； 优点：通过有经验专家的评价，可以在测试前发现试题中可能存在的问题，并有可能提出针对性的、可行的修改建议； 缺点：依赖于专家的经验，带有一定的主观性；在大规模的考试中，专家的经验有时带有片面性；专家之间的判断有时不一致，专家判断与学生实际作答存在偏差。 量化分析 用教育测量学的理论，对学生考完后的作答情况进行分析，从量化的角度对试题（或试卷）进行分析的方法由来已久，在国外大型的考试中普遍采用，对改进命题质量有着不可磨灭的贡献； 优点：根据考生的具体作答情况，提供了试题（试卷）客观的分析指标，这些测量指标有明确的含义，为改进试题提供了客观的依据； 缺点：必须结合学科才能改善试题，分析过程较为复杂，难于掌握，这些指标必须在测试后才能得到。 试题（卷）质量分析的两个视角 从评价学的观点看：评价是基于事实的价值判断，定量分析提供的正是试卷评价所需的事实基础。 从当前的现状看：学业考试评价在较大程度上缺乏测量理论的指导和统计数据的支持。 从发展的观点看：提高考试的科学化水平离不开教育测量学的指导，要实现命题质量的突破，必须走质性分析和量化分析相结合的道路。 量化分析的作用 教育测量学的试卷编制指导原则 试卷分析中教育测量学指标的两种使用方式 从数据中发现线索 到数据中寻找证据 常用试题质量分析的方法 经典测验理论 测验的试题分析：试题的难度、区分度（鉴别指数）、选择题考生作答情况、客观题不同给分点的难度； 测验的整体分析：考生成绩分布以及试题难度分布； 项目偏差分析。 项目反应理论 试题的难度、区分度、猜测度和信息函数等； 试题的项目特征曲线； 试卷的信息函数； 项目偏差分析。 认知诊断理论 经典测验理论的项目分析：难度 难度即项目的难易程度。 难度的指标：在心理测验中最常用的是以受测者答对或通过每个项目的人数百分比作为难度的指标。 P代表项目的难度，N为全体受测者人数，R为答对或通过该项目的人数。 P值越大，难度越低；P值越小，难度越高。 难度的计算 二分法记分的项目 （1） R为答对该题的人数，N为总人数。 （2）当被试人数较多时，计算难度的一个简单方法，现将受测者依照测验总分排序，然后或出人数相等的高分组（上27％）和低分组（下27％），再分别求出此两组在每一题目上的通过率，以两组通过率的平均值作为每一题目的难度，其公式为： 难度的计算 选择题难度公式的校正（吉尔福）： CP为校正后的通过率，P为实得的通过率，K为备选答案的个数。 难度的计算 非二分法记分的项目 为全体受测者在该题上的平均分，Xmax为该题的满分。 难度水平的确定 在