2005年英语专业八级人文知识题的构念效度分析-英语视听说 - 副本.docVIP

应用EQS和BILOG分析TEM8人文知识项目的效度 摘要：2004年版的《高等英语专业八级考试大纲》增加了人文知识题，然而人文知识题的效度研究还较少。本文效度验证：（1）分析人文知识的内容关联性和代表性（2）结构方程（3）。结果表明，人文知识题具有较好的效度题目偏易区分度。最后，本文对人文知识的改进提出了相应建议。 词：人文知识；效度；验证性因子分析2000年版的《高等学校英语专业英语教学大纲》英语专业学生要熟悉中国文化传统，具有一定的艺术修养；熟悉英语国家的地理、历史、发展现状、文化传统、风俗习惯；具有较多的人文知识和科技知识；具有较强的汉语和书面语表达能力；具有较强的创新意识和一定的创新能力（高等学校外语专业教学指导委员会英语组，2000：11）。为了更好地体现教学大纲的要求，《高校英语专业八级考试大纲》（）增加了人文知识题目的是扩大测试的正面效应，为教学服务（邹申，2005）。人文知识题主要检测英语专业四年级学生对主要英语国家社会与文化、英语文学与英语语言学基本知识的掌握程度（高校英语专业八级考试大纲修订小组，2004：6）。测试范围包括（1）主要英语国家社会与文化知识；（2）英语文学知识；（3）英语语言学知识。考试时间为10分钟，共10题。测试形式采用多项选择题，要求学生从每题的四个选择项中选出一个最佳答案。依据标准参照考试效度验证框架检验人文知识项目的内容关联性和内容覆盖面项目预期目标达到程度项目的标准参照统计属性，以及项目对相关教学及课程设置的预期推动作用。研究结果表明，人文知识项目的测试范畴、内容和题目基本符合英语专业教学大纲要求，初步具备标准参照考试的特征。我们仍需深入研究人文知识项目的效度特征。主要目的验证人文知识的效度，同时对试题的改进提出建议。. 文献回顾 2.1 效度概念的发展 效度是教育与心理测量质量评价的根本要求（Bachman，1990），其定义作为一个科学概念，历经近半个世纪的不断演变和发展（邹申，2005b：187）。一般来说，效度定义的发展经过三个阶段：单一概念阶段，种类概念阶段（如内容效度、预测效度、共时效度和构念效度）和整体概念阶段（邹申，2005b：187-192；李清华，2006）。在1999年美国教育研究协会、美国心理协会和国家教育测量委员会联合颁发的《教育和心理测试标准》（Standards for Educational and Psychological Testing）（以下简称《标准》）最新版中，对效度的定义确定为：效度指证据及理论对包含在所提议的测试使用之中的测试分数解释的支持程度（邹申，2005b：185）。所提议的测试分数解释指的就是所测量的构念或概念（《标准》：9）。换言之，《标准》1999年版对效度的定义已经抛弃对效度的区分，因为效度这个概念本身就是一个构念，即 “效度就是构念效度，构念效度即效度”（邹申，2005b：186）。也就是说，我们对考试效度的检验是对构念效度的验证过程。 作为一个科学概念，效度的定义还在不断演变之中，Bachman的测试使用论证框架（Assessment Use Argument，简称AUA）就是诠释效度理论的最新发展。此理论框架要求测试工作者从测试表现、语言能力的解释、决策和使用后果等四个方面来收集各种证据，以保证测试分数解释和测试使用的合理性（Bachman，2005，2006，2007；BachmanPalmer，forthcomingBachman，1990；金艳吴江，1998；邹申张艳莉周越美，2002；陈晓扣李绍山，2006Brown，2005Watanabe Curtis，2004）。 通过分析考试内容，我们可以获得重要的效度证据，来确立考试所测量的构念。考试内容指测试范畴、题目形式以及考试所规定的任务等。采集基于考试内容的效度证据时，我们可以使用逻辑分析法，如Bachman（1990）和Bachman Palmer（1996）的考试任务框架；我们也可以用实证研究、专家判断以及问卷调查等方式。 效度验证的另一重要方面是对考试内部结构（即测试构念）的分析。构念分析可以显示考试中各个题目以及各个部分与该构念的吻合程度。构念效度证据是分数解释的必要条件。“一套试卷既可能只有一个部分（如单纯的听力考试、词汇考试等），因而只测量某个单一维度的行为；也可能由几个部分组成，因而可以同时测量多个维度的行为。但是，我们期望它的每一个部分所测量的行为维度又不相同。如果已确定的测试目的要求我们提出这样的期望或要求，我们就应该收集证据，证实我们的期望的确在试卷中得以实现”（邹申，2005b：200）。 通常，对构念效度的验证需要对分数做单维性解释，其证据可以通过多种方法获得。其中最简单的方法就是分析项目间的相关关系。比如，探索性因子（Ex