SYSTAT在语言测试探究中应用.doc

SYSTAT在语言测试探究中应用【摘要】SYSTAT是一款集经典测量理论和项目反应理论为一身的统计软件。文章结合外语测试研究实践―― TEM4语法词汇题的项目分析，介绍该软件的常用功能与操作方法，为推动现代信息技术与语言测试的整合提供技术支持。 【关键词】SYSTAT；项目分析；经典测量理论 【中图分类号】G420【文献标识码】A 【论文编号】1009―8097（2011）02―0077―04 一 引言 将现代信息技术运用于语言测试研究是当今测试研究的趋势所在。基于现代信息技术的教育测量统计软件运用于外语教学及测试的研究在我国起步较晚，许多外语教师对其如何用于试卷质量分析还感到陌生。Microsoft Windows系统自带的Excel软件可以处理经典测量理论（Classical True Score Theory，简称CTT）中的项目分析（Brown，2005）[1]。除此以外，SPSS可能是外语教学和测试研究中使用最频繁的统计软件（刘宝权、席仲恩，2004）[2]，但该软件也只能完成经典测量理论中的相关统计任务。随着项目反应理论（Item Response Theory，简称IRT）的发展，一些专业统计软件如BILOG-MG，FACETS等被用于试卷分析中，与Excel，SPSS软件相比，能够呈现考生的答对概率和能力之间的关系，估算传统意义上的项目难度、区分度，甚至考生答对题目的猜测概率。但是这些软件蕴含晦涩难懂的数学和统计学原理，价格比较昂贵，普及程度较低。SYSTAT是一款集CTT和IRT为一身的统计分析软件，界面友好，自学方便，但是目前在外语教学研究中的应用却不多见。 语法词汇是外语教学研究与实践的一大重点。《高校英语专业四级考试大纲》（2004年版）（高校英语专业四级考试大纲修订小组，2004）[3]提出通过语法词汇题测试学生掌握词汇、短语及基本语法概念的熟练程度。语法词汇属于语法能力及语法知识的重要组成部分，对培养学生的交际语言能力至关重要（Bachman，1990；Bachman Palmer，1996）[4] [5]。《高校英语专业口试大纲》（高校英语专业四级口试大纲编写小组，2005）[6]将语法和词汇纳入口语能力评价体系，足显其重要性。英语专业四级考试（以下简称TEM4）已有近二十年的历史，专门针对TEM4语法词汇项目质量的相关研究却不多见。 本文尝试运用SYSTAT统计软件分析TEM4语法词汇质量，同时希望借助详细的介绍，与更多的一线外语教师和研究者分享SYSTAT软件在定量分析的应用功能，其目的在于让现代信息技术更好地服务于外语教学与测试研究。 二 SYSTAT软件概述 SYSTAT是统计学家T.省略/products/mystat）。MYSTAT12具有SYSTAT 12大部分的核心统计功能，常应用于本科和研究生初级阶段的统计相关课程。本文探讨将这一工具引入语言测试客观题的质量控制环节，使外语教师和研究者都能了解并学会该软件。 图1显示了 SYSTAT 的TESTAT（项目质量分析模块）功能界面。数据的输入准备大致和EXCEL、SPSS等一样，不同之处在于，变量属性的设定需点击变量名，根据需要设定变量名的类型。图1所示的Classical分析指CTT的项目难度、区分度和信度分析，Logistic分析指IRT的单参数和双参数模型分析（彭康洲、李清华，2009）[7]。SYSTAT只适合以0，1计分（答对记为1，答错记为0）的客观题的项目分析。 目前，常见的试卷质量分析方法包括三类：CTT、概化理论（Generalizability Theory，简称GT）和IRT（Bachman，1990；漆书青、戴海崎、丁树良，2002）[4][8]。从CTT的角度来讲，试题的质量分析主要对其难度和区分度等指标做统计分析，测量误差笼统，信度和效度单一，但目前使用仍较多。概化理论中，多种误差来源可以在同一个分析中分别估计（杨志明、张雷，2003）[9]。IRT采用统计概率的量表化模型，将被试能力与项目难度定义在同一量表上，引进信息函数概念，处理信度问题的方法更为准确。目前的项目反应理论已从单维模型发展到多维模型。限于篇幅关系，本文着重介绍传统的题目质量分析方法，项目反应理论的分析方法将另文讲解。感兴趣的读者可参阅Henning（1987）[10]，余嘉元（1992）[11]，Brown（2005）[1]，邹申（2005）[12]，彭康洲和李清华（2009）[7]。 三 TEM4语法词汇题的质量分析 1 研究问题 本研究借助SYSTAT拟解决2个问题：（1）从CTT和IRT角度来讲，2007年的TEM4语法词汇题的难度和区分度如何？（2）考