WinSteps软件的结果图表解读-湖南师范大学.PPT

三个量表对比分析 Category Label Average Measure Fit Step Calibrations Person Separation Item Separation 12345 Disordered < 2.0 Disordered 1.36 None 12344（45合） Ordered < 2.0 Ordered 2.06 8.23 12334（43合） Ordered < 2.0 Ordered 1.90 8.16 45合并的考生和项目分隔值均大于43合并的两个对应值，说明45合并较43合并区分更好 WinSteps软件结果图表解读 部分得分（Partial Credit）模型 控制文件设计 评分等级 部分得分：各项目的评分等级可以各不相同 项目标签 考生－项目得分图 考生均值 项目均值 各部分分值的得分项目及难度 WinFacets软件结果图表解读 多维分析 所有维度的纵向“尺度” 维度2－评判对象 维度1－评分员 维度3－评判内容 值跨度 “+”－正向 观测值越大，估计值越大 “-”－逆向 观测值越大，估计值越小 Brahe估计值最大，观测值最小，评分最严厉 Betty估计值最大，观测值最大，得分最高，能力最强 结果报告 负向： 给分越少越，越严厉 负向： 得分越少，难度最大 正向： 得分越多，能力最强 偏差/交互分析 与其他评分员不一致 非期望评判结果 意外评分员 可简化为3类 * 第六章 累进效度及辩论（三） 湖南师范大学外国语学院 邓 杰 教授 教学目标 了解实施环节的基本概念、焦点问题及证据来源 了解项目反应理论的基本原理 了解WinSteps软件的功能和使用方法 了解WinFacets软件的功能和使用方法 实施效度 基本概念：测试真实性；答题行为分析方法；项目反应理论 焦点问题：考生反应的相关性、真实性、交互性 证据来源：考生答卷、调查问卷；监考须知、监考步骤、监考记录；答题过程的调查、访谈等 基本概念 测试真实性（Authenticity）：答题过程体现实际语言使用的程度 真实生活任务（Real-life tasks）：日常生活中有可能碰到的活动，通常不受课程教学内容的约束 语言教学任务（Language instructional tasks）：课程教学活动，亦可与日常生活相关 答题行为分析方法（Response Analysis Methods） 观察法（Observation）、问卷调查法（Questionnaire）、访谈法（Interview） 内省法（Introspection）、反省法（Retrospection）、有声思维（Think-Aloud） 眼动跟踪（Eye-tracking） 项目反应理论（Item Response Theory，IRT） 理论模型 单参数：1PL-One-Parameter Logistic Model，难度（b） 双参数：2PL-Two-Parameter Logistic Model，难度（b）和区分度（a） 三参数：3PL-Three-Parameter Logistic Model，难度（b）、区分度（a）和猜测概率（c） 多维度: Many-Facets Rash Model，影响成绩的多个方面，如评分员、评分方法、话题类别等 数值类型 二项值（Dichotomous ）：0和1，分别表示答错和答对 多项值（Polytomous）：非0－1值，用于等级量表（Rating Scale）和部分得分（Partial Credit）模型。每个值项表示一个类别，代表量表中的等级（始于1），或满分中的任一部分分数（始于0） 考生能力与项目难度 　 Items 　 　 　 　 Persons c i a l b h k d f j e g Ability p q Ln(p/q) N 1 1 1 1 1 1 1 1 1 1 1 1 12 1.00 0.00 J 1 1 1 0 1 1 1 1 1 0 0 1 8 0.73 0.27 0.98 C 1 1 1 1 1 1 1 0 0 1 1 0 8 0.73 0.27 0.98 E 1 1 0 1 1 1 1 0 1 1 0 0 7 0.64 0.36 0.56 L 1 1 0 1 1 1 1 0 1 1 1 0 8 0.73 0.27 0.98 I 1 1 1 1 1 1 0 1 0 0 0 0 6 0.55 0.45 0.18 F 1 1 1 1 1 1 0 1 0 0 1 0 7 0.64 0.36 0.56 K 1 1 1 1 0 0 1 0 1 0 0 0 5 0.45 0.55 -0.18 A 1 1 1 1