计算机化语言测试效度研究.docVIP

计算机化语言测试效度研究 　　摘要：随着信息技术运用领域的不断拓展，以计算机为媒介的语言交际已成为现实，计算机化语言教学和测试也迅速发展。在测试领域，技术的使用已不仅仅是为了提高测试效率，更重要的是提高测试效度。本文根据Messick(1989)的整体效度理论，运用Chalhoub-Deville(2003)的局部构念定义，分析计算机化语言测试中计算机能力与测试构念的关系及其对效度的影响。本文指出，当计算机成为语言交际的重要媒介时，计算机能力成为与构念密切相关的语境因素，以计算机为媒介的交际语境与语言能力交互影响，共同构成计算机化语言测试的构念。 　　关键词：计算机化语言测试；构念效度；计算机能力 　　中图分类号：H319.3 　　文献标识码：A 　　文章编号：1001-5795(2012)01-0011-0005 　　自20世纪90年代以来，信息技术的发展对语言交际活动的内容和方式产生了深刻的影响，计算机和网络成为语言交际活动的重要媒介。如今的大学生已习惯上网看新闻、查资料、写邮件、求职、购物、交友等。技术的发展也为语言测试带来了崭新的理念，提供了创新的方法，同时对测试的效度论证提出了挑战。近二十年来，计算机化语言测试(computer-based lan-guage testing，CBLT)的理论和实践研究不断深入，如项目反应理论和题库建设、计算机适应性语言测试(com-puterized adaptive language testing，CALT)、纸笔测试和计算机化测试的等效性研究等。本文将探讨技术对计算机化测试效度的影响，并阐述计算机能力(computerliteracy)与构念(construct)的关系。 　　1　整体效度观 　　效度是评价测试的重要质量标准之一，效度论证则是测试研究永恒的主题。随着应用语言学及相关领域理论和实践的发展，语言测试领域对效度的认识也不断深入(Chapelle，1999)。目前，测试领域广为认可的是Messick(1989)的整体效度观。根据整体效度理论，效度是一个具有多方面的整体概念(a unitary butmulti-faceted concept)，效度论证须通过多种手段来采集多方面的证据，如测试内容分析、试题或任务分析、测试维度分析、校标关联程度检验、测试表现差异分析、测试后果论证等。《教育和心理测量标准》(AERA/APA/NCME，1999)对效度的阐释依据的就是整??效度理论。 　　整体效度理论认为，构念效度(Construct Validity)是效度最根本的一个方面，是效度论证的核心，是决定测试的分数解释和结果使用有效性的基础。只有明确界定了构念，才能对效度的其他各个方面进行全面论证。构念效度本身也是一个整体，涵盖内容效度和校标关联效度等，构念效度研究也需要收集各类证据，以论证测试分数与构念之间的关系是否符合理论假设(Bachman，1990；Chapelle，1998)。从测试设计对效度的影响来看，“构念体现不充分”(constructunder-representation)以及“与构念无关的差异”(construct-ir-relevant variance)是对效度构成威胁的两大因素。如果构念效度不理想，测试就可能对教学产生负面的后效(Messick，1989；1996)。因此，要保证测试的效度，测试设计者需要依据相关的理论对构念进行界定，并根据所界定的构念来设计合适的测试任务。 　　2　计算机对语言测试效度的影响 　　早在1989年，我国著名语言测试学家桂诗春(1989)就关注了技术对测试的影响，并从测试内容和方法上阐述了计算机化测试的优势。例如，计算机可控制并记录答题时间，记录答题路径，以多种方式呈现多样化的试题材料，实现纸笔难以使用的答题方式，还可通过HELP等功能为答题提供帮助。但是，桂教授也指出了计算机化测试潜在的问题，如计算机的使用使测试与练习的界限变得模糊不清，HELP的引进还会牵涉到一系列的评估问题，需要进一步研究。这里所指的评估问题，核心就是效度问题，即技术将对测试效度产生的影响。 　　根据整体效度理论，Huff和Sireci(2001)从构念的体现、与构念无关的差异、后果效度等角度总结了计算机对教育测量的效度可能带来的好处和潜在的威胁(表1)。Huff和Sireci认为，计算机化测试(computer-based testing，CBT)可以提高测试任务的真实性，减少与构念无关因素引起的分数差异，使测试更全面、准确地测量其所定义的构念。但是，技术的使用也可能引入与构念无关的干扰因素。例如，如果测试目的不是计算机能力，那么对于计算机熟悉和适应程度参差不齐的考生群体来说，计算机能力成为语言测试的干扰因素。而且，由