多评分者多任务情境下评分者信度的模型拟合研究.docVIP

多评分者多任务情境下评分者信度的模型拟合研究 摘要：此研究以网上阅卷环境下多个评分者同时评阅翻译和作文为例，建立多个评分者完成多个任务的结构方程模型，对数据进行拟合，实现评分者信度的量化分析。通过五个结构方程模型比较，选择拟合效果较好的相关任务相关特性模型，计算多评分者多任务的评分者信度，并对同一评分者完成不同任务时评分者信度和同一评分任务下不同评分者的评分信度进行比较，实现对评分效果的评价，从而对评分者的选拔和有针对性培训提供科学支持 关键词：多评分者多任务；拟合优度；相关任务相关特性模型；评分者信度 中图分类号：B84　文献标识码：A　文章编号：1671―6124(201l)06―0107―04 一、前言 主观评分的应用越来越广泛，不但要求主观评分能够适用于不同的评分情景，而且希望能够对评分结果进行比较全面的分析。特别是在大规模考试中，考虑到阅卷成本、组织便利等因素，组织者一般选取多个评分者对多个题目进行评判。人事选拔中，多个考官要面对每一个考生对他们的表达能力、协调能力等多个方面打分。而对评分的科学性和公正性要求越来越高，这就需要在多评分者多任务情境下，对评分者的评分效果进行比较，以对评分者有针对性的选拔和培训 在评分者信度的衡量中，比较常用的是kappa系数、肯德尔和谐系数、概化理论等方法来估计测量中的评分者信度。Cohen的kappa法考虑机遇