复杂结构语言试卷信度的多元概化理论分析——以CET-6数据为例.pdfVIP

重庆大学学报 (社会科学版) 2008年第 l4卷第 6期 JOURNALOFCHONGQINGUNIVERSITY(SocialScienceEdition)Vo1．14No．62008 复杂结构语言试卷信度的多元概化 理论分析 以CET一6数据为例 汪顺玉，席仲恩 (重庆邮电大学 外国语学院，重庆 400065) 摘要：通过对 170名大学生在一套旧式大学英语六级考试客观题上的反应数据的分析，演示了如何用多元概 化理论这一工具计算复杂结构语言试卷测试结果的信度系数。结果显示，对于这组学生，总分信度系数达 0．921与达0．907，但各部分的差异很大，词汇和语法部分的信度系数最高，为0．802与0．782，听力部分的信 度系数次之，为 0．769与 0．744，阅读理解部分的最低 ，为 0．551与 0．782，听力部分的信度 系数次之，为 0．769与0．744，阅读理解部分的最低，为0．551与0．503。进一步的分析揭示，在这套试卷的7O道客观题 中，与各 自部分不融洽的题 目有23个，其中听力部分6道，阅读部分 l0道，词汇语法部分7道。如果这些不 融洽题 目上的成绩不记入总成绩，总分和各部分成绩的信度 系数都大幅度提高，其 中总分信度系数提高到 0．937，听力部分提高到0．831，阅读部分提高到0．773，词汇语法部分提高到0．859。在分析 的基础上 ，对语 言测试工作者提出了5条积极的建议。 关键词：标准误；不确定度 ；大学英语六级考试 ；多元概化理论；信度 ；语言测试 中图分类号：H310．43 文献标志码 ：A 文章编号：1008．5831(2008)06-0130-06 与一般 的专业 心理量标相 比，大规模语言测试试卷 的结构通常都非常复杂 。 这种复杂结构试卷都按照一定 的格式 (tableofspecification)设计 ，这种格式在较 长 的时 间 内将 固定不变 。对于这类 复杂格式 的试卷 ，其测量结果 的信度 系数 的 估计 问题 ，一直是心理统计学 (psychometrics)，特 别是教 育测量学 (educational measurement)研究 的一个核心课题 ，也是一个难题 。虽然直至今天 ，信度理论仍 远 不能满 足测 试实 践 的需要 ，但 的确有 了长 足的进 展 。 在最初 的五六十年 中，信度研 究者基本 以相关分析为技术 ，以组 间相关系数 (interclasscorrelationcoefficient)为基础 ，研 究测量 结果 的信 度 系数估计 问题 。 这种进路构成今天所谓 的经典测试理论 (classicaltesttheory[cTr])中的信度 理论 ，简称经典信度理论 ，有些信度理论工作者甚至进 一步简称为经典理论 0J。 经典进路在两个方面存在致命局 限：一方面 ，它所假 定 的平行条件 ，无论是起初 的严格平行条件 ，还是后来 的真分数相等 (tau—equivalent)条件 、真分数本质上 相等 (essentiallytau—equivalent)条件 以及真分数 同属 (congeneric) 条件 (即 完美相关条件 ，或者 ，此部分 的真分数是彼部分真分数 的线性变换)，都在测试 实践 中不仅无法满足 ，而且对于其满足 的程度也没有统一 的衡量标准 。另一方 面 ，即使这些条件得 以满足 ，它也 只能解 决部分最简单 的单侧面测试情景 。这种 信度理论 ，只能大体解决专业 心理测量 中的重测信度 问题 。 收稿 日期 ：2008—10—20