01概化理论在作文评分中的应用研究.docVIP

概化理论在作文评分中的应用研究 刘远我 张厚契 (人事部人事考试中心，北京100054) (北京师范大学，北京100875) 摘要 概化理论是现代心理测量理论之一。该文简要地介绍了该理论的基本思想，并用此理论对作文评分的误差控制问题进行了应用性探讨。研究中请6位评分员对20名学生每人三种文体的作文用分项评分法进行评定然后用GENOVA软件估计了作文评分中的评分员效应和题目效应，并对各种误差构成进行了分析比较。结果表明：在作文评分中，评分员效应最大，题目效应不明显。同时还发现，不同文体对评分误差有重要影响，议论文的评分误差最大。在作文能力的三要素中，以内容的评分误差最大，结构的评分误差最小。最后，本文还对传统评分者一致性系数(W系数)的不足以及概化理论中ф系数的优越性进行了讨论。 关键词 概化理论，作文评分，误差控制，W系数。 分类号: B841 1前言 当今心理测量学界最有影响的三大理论是经典测量理论(Classical Testing Theory)，项目反应理论(Item Response Theory)和概化理论(Generalizability Theory)，其中概化理论由于形成体系较晚、统计要求繁琐等诸多原因，在理论研究和实际应用方面都相对较少。为此，本研究应用概化理论对作文评分的误差控制问题进行了较为深入的探讨，以期有更多的学界同仁关心测量理论的发展，使概化理论在我国的测量实践中发挥其应有的作用。 2 经典测量理论与概化理论信度观的比较 经典测量理论经过几十年的发展，到五十年代便形成了一套相当完整的理论体系，对测验的编制、实施和评价提出了一系列具体、实用的统计分析方法，这些方法已广泛地应用于测验工作的各个领域。但是经典测量理论也存在一些问题，从其信度观来看，首先，严格平行测验的假定在实践中很难满足，我们常常无法保证不同测量间得分的平均值和标准差都相等。其次，经典测量理论中所定义的随机误差很笼统，它不能说明测量误差究竟来自哪些误差源，及各自产生的误差大小。再者，经典测量理论要求测量条件完全标准化，从施测指导语到测验计分都有严格而明确的规定，从而使得测量目标变得狭小，测量条件稍有变化，它便无能为力了。 概化理论正是针对经典测量理论存在的上述问题而产生的。概化理论的基本观点形成于本世纪六十年代［1］，但正式提出这一理论并加以系统化的是克龙巴赫((Cronbach)等人在1972年出版的《行为测量的可靠性》一书。概化理论的优越性体现在多个方面。在理论假设上，概化理论扬弃了经典理论的“严格平行测验假设”，代之以“随机平行测验”这一弱假设［2-4］，从而使分析问题的条件很容易得到满足。在具体方法上，概化理论利用方差分析技术，把测验变异分成多个部分，每个部分对应于特定的误差来源。从而更便于测量误差的控制。概化理论最显著的特点是强调测量的具体情境，它认为，测量的根本目的并不是为了获得特定条件下的测量结果，而是要以此来推断更广泛的条件下可能得到的测量结果［5］。这种推断的准确性正是测量者应该关心的问题。由此可见，概化理论给传统的信度观念赋予了新的含义。 3概化理论在作文评分中的应用研究 3.1问题的提出 作文评分中的误差控制问题是研究最多而又最棘手的难题。国内外许多研究［6，7］证明，作文评分中有很大误差。由此，作文评分的误差控制问题引起了我国考试研究者的广泛注意。但由于理论和方法上的局限，以往的研究很少对影响作文评阅的各个方面如评分者、题目等重要因素进行深入的量化分析。鉴于此，本研究用概化理论的思想和方法对影响评分的这些重要因素进行实证研究，并对传统评分者一致性系数(W系数)提出一点新的看法。 3.2测量的设计与样本的选择 3.2.1测量的设计 本研究重点考察对作文评分有重大影响的两个因素:作文题目和评分者，采用两面(Two-Facet)交叉设计p×i×r的G研究，其中p是指学生的作文能力(测量目标)，i指作文题目面，有3个水平；r指评分者面，有6个水平。题目面和评分者面都随机。 3.2.2样本的选择和实测过程 (1) 我们选取北京市某中学高二年级的20名学生，要求他们在一个月内做三篇作文:议论文、记叙文、夹叙夹议的文体各一篇。 (2) 参照高考作文评分标准和有关研究，制订本研究的作文评分标准。评阅时采用分项评分法，按内容、语言、结构等三项独立计分。 (3) 把60篇作文分送给6位评分者评阅，其中3位是有三年以上教龄的高中语文教师，另3位是刚经过作文教学实习的中文系毕业生。各评分者严格按同样的顺序评阅所有的作文。 3.3结果的处理与分析 3.3.1应用软件GENOVA简介 美国大学测验委员会( ACT)的J. E. Crick和R L. Brennan在19