计算机辅助评价的应用例举课件.pptVIP

第10章 计算机辅助评价的应用例举 目录 10.1 计算机自适应测验 10.2 技能性测评与网络化评价 10.3 计算机化阅卷 10.1 计算机自适应测验 10.1.1 计算机自适应测验的意义 10.1.2 计算机自适应测验的原理 10.1.3 计算机自适应测验的实现条件与施测程序 10.1.4 计算机自适应测验的编制步骤及策略 10.1.5 基于MET-CATS系统的自适应测试 计算机自适应测验的意义 自适应测验是根据被试的不同特质水平与题 目的不同难度与区分度，对被试施测不同的测验 题目，使这些题目与被试的实际水平尽可能相适 应，这样使测验更具有针对性，从而每施测一道 题就能获得最大的信息量。早期的自适应测验是 一种由人工来控制的自适应测验，有较大的局限 性。随着计算机技术的普及，计算机自适应测验 展现了强大的生命力。 计算机自适应测验的意义 计算机自适应测验（Computerized Adaptive Testing，简称CAT）是建立在项目反应理论基础上的，是测验新理论与计算机技术结合的产物。该测验由计算机根据被试能力水平自动选择测题，最终对被试能力做出估计的一种新型测验，其目的在于通过被试正确回答题目难度的高低来评价其能力，而不是像传统的纸笔测验那样通过被试能正确回答题目的多少来评价其能力。 计算机自适应测验的意义 计算机自适应测验具有以下其它测验无法相比的 优点： 它能因人而异地选题，题目针对性强，可以用较少的题目、较精确地估计被试的能力； 它不必规定测验举行的时间，被试可选择自己最理想的时间进行测验。这是因为计算机自适应测验是因人而异的，不必因害怕泄露试题而规定统一的测验时间； 计算机自适应测验的意义 它可采用多媒体技术，可创设各种生动、形象的情景，使测验呈现方式能满足多种测验目的，同时更能激发被试的测验动机； 能及时了解测验结果，并能方便地通过网络将测验结果传送到所需部门或个人。 计算机自适应测验的原理 计算机自适应测验的理论基础是项目 反应理论。项目水平的评估是在被试每完 成一道题后就马上进行，评估的结果又是 选择下一道题的依据，因为自适应测验要 求试题难度与被试能力相适应。 计算机自适应测验的原理 计算机自适应测验选题的依据是下列 项目信息函数： 计算机自适应测验的原理 自适应测验有两种形式：一种称为定 长测验，即事先确定测验的长度，一旦做 到规定的试题数，计算机就自动结束测验。 另一种是可变长度测验，它只规定测量精 度，不规定测验的长度。 计算机自适应测验的实现条件与施测程序 1．CAT实现的条件 设定探查性程序。 设定高效率的题目选择程序。 设定能够快速估计被试水平参数和该参数估计精度的程序。 制定合理的测量终止标准。 建立性能优良的题库。 计算机自适应测验的实现条件与施测程序 2．CAT施测程序 计算机自适应测验的编制步骤及策略 计算机自适应测验的编制一般包括了 数学模型的选择、题库建设、选题策略和 试题曝光度的控制。 计算机自适应测验的编制步骤及策略 1．曝光度的控制策略 所谓曝光度是指试题的使用率，用某试 题使用人数除以测验总人数所得的商表示。 试题曝光度的控制是为了题库安全，试题曝 光度高会造成泄题而影响测验的效度。 计算机自适应测验的编制步骤及策略 目前，通过降低高区分度题目的使用率 而提高低区分度题目的使用率的曝光控制方 法主要有以下几种： 随机法 概率法 动态优先权法 —分层法 计算机自适应测验的编制步骤及策略 2．题库参数的控制和优化 题库中题目的新增、删除或屏蔽都会影 响题库中参数的分布。为了在参数分布不合 理时及时调整题库的参数，可设计信息统计 模块，用来评价题目参数和知识点参数的分 布。当题目参数和知识点参数的分布不合理 时给出警告信息。 计算机自适应测验的编制步骤及策略 具体评价函数如下： 其中f(x)是最佳分布密度函数，g(x)是 当前实际分布密度函数。 计算机自适应测验的编制步骤及策略 3．选题策略 随机与穷举相结合。 减少约束的并行性。 呈现最大信息量表。 基于MET-CATS系统的自适应测试 MET-CATS系统是一个针对《现代教育技术》 国家精品课程的在线自适应测试系统。 MET-CATS 系统原型中的试题类型为客观选择题，其内容涵 盖了《现代教育技术》课程所有章节。与传统笔 试试题不同的是，计算机自适应测试的每道试题 不仅包括试题正文、选项、测试知识点，而且还 增加了试题的难度参数、区分度参数和猜测参数。 这些试题主要