英语专业八级考试人文知识部分测验效度剖析.docVIP

英语专业八级考试人文知识部分测验效度剖析 　　摘要：根据最新考试大纲的要求，英语专业八级考试从2005年开始增加了人文知识考试题型。在统一构念效度的框架下，对2005年新增加的人文知识分测验进行了包括难度、区分度、信度、构念维度、构念一致性、考试偏差等方面的分析；对2005年至2007年人文试题的考点分布进行了比较分析。结果显示，该分测验的测量学属性在整体上不甚理想，但是不同类别学校考生间，难度、区分度和内部一致性系数有很强的相关；该分测验呈现两个因子结构，不同学校考生间因子结构的相似度高。外语院校考生和非外语院校考生间，试题没有明显的考试偏差存在。题目内容抽样的代表性有待提高。?? 　　关键词：人文知识；效度分析;因子分析; 项目功能差异; 考点分布?ぶ型挤掷嗪牛?H310 文献标识码：A 　　文章编号：1000??5544(2007)05-0035-05?? 　　Abstract： TEM8 (2005 version) was the first of its kind in onformity with the latest modified national syllabus for English teaching. A major change is the addition of a subtest on knowledge of linguistics, English and American literature and general survey of major English speaking countries. The study aims to analyze the psychometric properties (including facility value, discrimination index, reliability, factor structure) of the subtest, and to investigate whether those statistics are invariant across subgroups of testees and whether there exists any DIF across subgroups. The results show that the psychometric properties are generally not satisfactory in technical sense, but construct invariance is confirmed, and that no serious DIF exists in the items of the subtest.??Key words: general knowledge; construct validation；factor analysis; DIF; content analysis?お? 　　 　　1. 引言 　　 　　根据2004年版《高校英语专业八级考试大纲》，从2005年起, TEM8考试的性质和目的、考试的范围、考试的形式、分数全重等方面都发生了变化。与以前相比，最大不同之一是增加了英语专业知识考试。这部分考试的内容覆盖英语文学、英语语言学和英语国家概况。考试形式为多项选择题，有10道题目，分数权重为10％。 　　TEM 8既然是一把衡量我国高年级阶段英语专业英语水平和专业知识的官方尺度, 与它相联系的是，新增加的英语专业知识考试的结果势必对学生、学校和社会都要产生很重要的影响。这就要求这把尺子本身在技术上完全符合标准，在使用上是对社会、机构和考生是公正而有益的。虽然TEM 8其他题型进行过较全面的效度分析（参见邹申,1997），但新增加的英语专业知识考试的测量学属性如何？分数解释的效度如何？分数是否存在考试偏差？这些是考试开发机构、命题人员、学校、教师和考生所关心的问题。本论文将在统一效度概念的框架下从分数内部结构的角度提供依据。 　　效度是开发和评估考试中最基本的要义（APA,1999：9）。它是指证据和理论支持分数解释的程度。效度不是试题本身的属性,而是试题分数的意义（Messick,1996）。为确保对考试分数的合理使用和基于考试分数推断有意义, 考试开发者必须对考试进行效度检验。传统的效度概念把效度分为彼此独立的内容效度，效标关联效度和构念效度。在新的构念效度框架下，众多的传统效度类别都是为分数解释提供依据。 根据Messick（1989，1995，1996，1998）和美国《教育与心理测量标准》（AERA/APA/NCME 1999）, 构念效度可以从内容方面、心理过程方面、分数结构特征方