作文内容的构念效度研究——运用结构方程模型软件AMOS 5的尝试.pdfVIP

加0了年第3期 外语研究 2007，南3 总第 103期 ForeignLa鳍ua沙sRe3ea即h Serial施 103 “作文内容”的构念效度研究 — 运用结构方程模型软件AMOSS的尝试 文秋芳 (北京外国语大学中国外语教育研究中心，北京100089) 摘 要:本研究运用结构方程模型软件AM()s5检验限时英语议论文 “内容”的构念效度。笔者根据限时议 论文作文思维过程的基本环节，确定了代表 “内容”构念的四个观测变量:文章切题性、观点明确性、说理透彻 性与篇章连贯性，然后运用结构方程模型软件AMOSS检验这四个观测变量对作文总体质量的预测力。研 究结果表明，由这四个观察变量形成的“内容”构念能够解释作文质量郊%的差异.本研究终结目的是为计 算机自动评分的前期人工评分提供较为精确的“作文内容”分项指标及其评定标准。 关健词:作文内容;人工评分;结构方程模型 中圈分类号:H319 文段标识码:A 文章编号:1005一7242(2007)03一0066一06 1.引言 1.1问题的提 出 近年来，国外多种作文自动评分系统相继问世。我国梁茂成(2005)已完成了中国学生英语作文自动 评分的理论建模，目前正在研发具有中国知识产权的大规模英语作文自动评分系统。人工评分是研发自 动评分系统和运用自动评分系统的首要环节。这种非传统意义上的人工评分(后面简称为机助人工评 分)，需要在精细的评分指标和统一评分标准的控制下完成。计算机依靠人工评分的结果提取能够预测 成绩的有效参数来建构某批作文的评分模型，然后依据这一模型对大批量的同一批其它作文评定分数。 由此可见，前期人工评分的质量直接关系到后期系统自动评分的好坏。而效度好、信度高的人工评分很 大程度上依赖于可操作的分析性评分指标和标准。逻辑上说，评分指标越精细，评分标准越明确，人工评 分的效度和信度就越高，计算机模拟人工评分的效果就越好。当然指标越精细，人工评分需要投人的时 .间与精力就越多，而实施大规模测试自动评分之前的机助人工评分通常时间比较紧迫，需要在规定的有 限时间之内完成。因此指标数量的确定需要同时兼顾评分质量和评分效率两个方面。笔者认为，现有的 几种分析性二语作文评分指标体系存在明显缺点，不能够达到机助人工评分的要求。本研究重点探究 “作文内容”指标的设定、评定标准及其效度。本研究另一个目的是尝试运用结构方程模型软件AMOSS 检验 “作文内容”的效度。该软件具有三个明显优势:(1)灵活性显著增加，它允许回归方程中自变量含有 测量误差，允许变量之间存在协方差;(2)可对原始数据进行直接加工，提供标准化和非标准化两种估计 结果，不像LISREIJ需要输人各相关变量的相关系数表;(3)采用视窗界面，易学易用，不需要使用者书写 任何命令，一切操作均只需点击鼠标(程开明2006)。 1.2评述现有三种分析性二语作文评分系统 Weigle(2002)认为吕前比较有影响的分析性二语作文评分体系有三种:Jacobsetal(1981)，Weir (1990)，Ham犷Lyons(1990)。上述三种体系涵盖的评分指标见表1。 表 1:三种分析性二语评分体系的一级指标 Jacobsetal(1981) Weir(1990) Ham少Lyons(1990) 1 伪ntent(30%) 1 Relevance衣ad明uacyofcontent l ldeasandargument 2 ()rganization(20%) 2 Com卯sitionalorganization 2 Rhetoricalfeatures 3 Cohesion 3 Vocabulary(20%) 4 Adequacyofvocabularyforpurpose 3 Languagecontrol 4 Languageuse(25%) 5 Grammar 5