关于SETS3有效性探讨.docVIP

关于SETS3有效性探讨 　　摘 要：SETS-3是专门为那些希望在大学里以英语为专业继续学习的高中毕业生设计的英语口语水平能力测试体系，它的推广给中学英语教学和大学英语教学带来了深远的影响。本文结合笔者的经历对SETS-3的有效性进行一个综合性的评价，以期为SETS-3的完善和推广提供借鉴。 　　关键词：SETS-3 有效性 评价 　　 　　一、总括性介绍 　　 　　SETS-3(全称为Spoken English Testing System，共有6个级别)是为那些希望在大学里以英语为专业继续学习的高中毕业生设计的英语口语水平能力测试体系，旨在测评考生口语表达能力和口语交际能力，是一种择优的测试。未能通过测试的考生将不能获得大学英语专业的优先录取资格。 　　SETS-3由两个部分组成：问答和连续谈话。要求掌握的词汇在2400左右，考生要求能在一般交谈中比较清楚地表达意见，表明态度，作出判断等；能使用常见的会话技巧；能就一般话题作约2分钟的连续表达。应试者两个或者三个一组参加测试并获得评价。问答部分测试应试者根据提示卡所提供信息提出问题和回答问题的能力；谈话部分则是测试应试者根据提示卡所给话题连续表述观点的能力。 　　 　　二、对SETS-3的评价 　　 　　以下笔者就SETS-3的有效性进行一个综合性的评价，涵盖其可靠性、测验编制的正确性、真实性、交互性、影响力和可行性。 　　1. 可靠性 　　可靠性的定义就是“衡量的一致性”(Bachman Palmer，1996，p19)，更确切地说，就是测试情形中不同特点下的一致性和测试任务系列中的一致性。为了更加明确了解SETS-3的可靠性，我们在此把它同Bachman Palmer(pp46-57)所建立的语言任务特点架构作一个比较。 　　将SETS-3同Bachman的架构作一个比较，我们可以明确地看到，SETS-3在情景设计、试题题目、输入、回答预期以及输入和回答预期之间的联系等方面均具备了Bachman Palmer(同上)所定义的完备特征。 　　可能会造成不一致的一个元素是给分方法，因为给分会受多方面因素的影响，诸如：对评价标准的不同理解，严格程度的不同，对同评价不相关因素的反应，等等。而这一点同Luoma(2004，pp179-184)关于评价者自身的可靠性和评价者交互的可靠性的论述相一致。作为一名SETS-3考官，笔者曾有幸参加此类测试并体验如何采取相应措施以保证评价者自身的可靠性和评价者交互的可靠性。SETS-3另外一个可能存在的缺陷是“平行形式可靠性”(同上)问题。在这种情形下，如何保证每一套试题的难度都保持在同一水平是非常值得我们注意的一个问题。 　　2. 测验编制的正确性 　　简单地说，测验编制的正确性指的就是“在何种程度上我们可以将一个测试分数诠释为我们试图测定的能力的标示”(Bachman Palmer，1996，p21)。 　　SETS-3测验编制涵盖口语能力的四个方面：语音和语调，语法和词汇，流利程度，交际能力。SETS-3依据上述四个方面设计了一个给分表，其目的就是帮助考官形成一种“概念性的认识”，并对应试者的表现作出有效评价(Luoma，2004，p188)。SETS-3实现了结构型任务和自由回答型任务的结合(同上p48)，并很好地体现了目标语言在大学生新生生活中的使用范围：询问和提供信息，自我介绍，解释以及基本说理技巧。说话部分要求考生持续性地展开说话，以展示考生在语音语调、语法和词汇、流利程度的能力水平。一般来说，测试不会给学生设计任何特殊的话题知识来增加难度。 　　Luoma(2004，p42)特别强调，要想保证高度的测验编制的正确性，所给定的分数应该“真正反映（应试者）话语或口语交互的技能，而不是阅读或听力（的技能）”。在SETS-3中，给应试者提供的提示卡使用的是中文，目的就是为避免给任何人在阅读或理解上造成障碍。但是，考官的口头指示是用英语，因为，在现实中，听和说不能割离，而用中文提示再用英文回应不现实，也不可信。 　　相对而言，在测验编制中，交际能力的评价侧重同上述几个部分相比较不是那么对等，其原因主要在于，问答部分是一种结构型话语任务，而大部分的应试者很多时候没有把它看作是同另外一个应试者的真正交际，只是生硬地根据提示卡的信息内容完成任务。 　　3. 真实性 　　测试的核心就是“目标语言使用任务的特点和测试任务的特点要相符”(Bachman Palmer 1996，p23)。SETS-3的真实性可以从测试任务特点以及应试者和测试使用者的预期感知来说明。 　　问答部分包括询问和提供信息以及自我介绍。应试学生所参与的口语交互同他们未来真实的大学生活近似。此外，应试者一般是两个或者