量表结构调整示例-湖南师范大学.ppt

三个量表对比分析 Category Label Average Measure Fit Step Calibrations Person Separation Item Separation 12345 Disordered 2.0 Disordered 1.36 None 12344（45合） Ordered 2.0 Ordered 2.06 8.23 12334（43合） Ordered 2.0 Ordered 1.90 8.16 45合并的考生和项目分隔值均大于43合并的两个对应值，说明45合并较43合并区分更好 WinSteps软件结果图表解读 部分得分（Partial Credit）模型 控制文件设计 评分等级 部分得分：各项目的评分等级可以各不相同 项目标签 考生－项目得分图 考生均值 项目均值 各部分分值的得分项目及难度 WinFacets软件结果图表解读 多维分析 所有维度的纵向“尺度” 维度2－评判对象 维度1－评分员 维度3－评判内容 值跨度 “+”－正向 观测值越大，估计值越大 “-”－逆向 观测值越大，估计值越小 Brahe估计值最大，观测值最小，评分最严厉 Betty估计值最大，观测值最大，得分最高，能力最强 结果报告 负向： 给分越少越，越严厉 负向： 得分越少，难度最大 正向： 得分越多，能力最强 偏差/交互分析 与其他评分员不一致 非期望评判结果 意外评分员 可简化为3类 * 第六章 累进效度及辩论（三） 湖南师范大学外国语学院 邓 杰 教授 教学目标 了解实施环节的基本概念、焦点问题及证据来源 了解项目反应理论的基本原理 了解WinSteps软件的功能和使用方法 了解WinFacets软件的功能和使用方法 实施效度 基本概念：测试真实性；答题行为分析方法；项目反应理论 焦点问题：考生反应的相关性、真实性、交互性 证据来源：考生答卷、调查问卷；监考须知、监考步骤、监考记录；答题过程的调查、访谈等 基本概念 测试真实性（Authenticity）：答题过程体现实际语言使用的程度 真实生活任务（Real-life tasks）：日常生活中有可能碰到的活动，通常不受课程教学内容的约束 语言教学任务（Language instructional tasks）：课程教学活动，亦可与日常生活相关 答题行为分析方法（Response Analysis Methods） 观察法（Observation）、问卷调查法（Questionnaire）、访谈法（Interview） 内省法（Introspection）、反省法（Retrospection）、有声思维（Think-Aloud） 眼动跟踪（Eye-tracking） 项目反应理论（Item Response Theory，IRT） 理论模型 单参数：1PL-One-Parameter Logistic Model，难度（b） 双参数：2PL-Two-Parameter Logistic Model，难度（b）和区分度（a） 三参数：3PL-Three-Parameter Logistic Model，难度（b）、区分度（a）和猜测概率（c） 多维度: Many-Facets Rash Model，影响成绩的多个方面，如评分员、评分方法、话题类别等 数值类型 二项值（Dichotomous ）：0和1，分别表示答错和答对 多项值（Polytomous）：非0－1值，用于等级量表（Rating Scale）和部分得分（Partial Credit）模型。每个值项表示一个类别，代表量表中的等级（始于1），或满分中的任一部分分数（始于0） 考生能力与项目难度 　 Items 　 　 　 　 Persons c i a l b h k d f j e g Ability p q Ln(p/q) N 1 1 1 1 1 1 1 1 1 1 1 1 12 1.00 0.00 J 1 1 1 0 1 1 1 1 1 0 0 1 8 0.73 0.27 0.98 C 1 1 1 1 1 1 1 0 0 1 1 0 8 0.73 0.27 0.98 E 1 1 0 1 1 1 1 0 1 1 0 0 7 0.64 0.36 0.56 L 1 1 0 1 1 1 1 0 1 1 1 0 8 0.73 0.27 0.98 I 1 1 1 1 1 1 0 1 0 0 0 0 6 0.55 0.45 0.18 F 1 1 1 1 1 1 0 1 0 0 1 0 7 0.64 0.36 0.56 K 1 1 1 1 0 0 1 0 1 0 0 0 5 0.45 0.55 -0.18 A 1 1 1 1 1 1