专业四级模拟题听力理解部分的项目分析.docVIP

专业四级模拟题听力理解部分的项目分析 　　 [摘要] 本文采用广外自主研发的GITEST分析软件,对一套专业四级模拟题听力理解部分30个多项选择题进行项目分析。对象是华南农业大学珠江学院08级50名学生。分析的项目包括难度、区分度、信度和效度等。通过对这些数据的分析,希望对教师和学生选择专业四级模拟题及考试研究组制定专业四级模拟题有一定的参考和借鉴作用。 　　[关键词] 项目分析 信度 效度 GITEST软件 　　 　　一、引言 　　基于目前为了配合全国英语专业四级考试,各式各样的四级模拟题层出不穷,但有些出版商为了赚钱,出的试题集缺乏一定的信度和效度。为了考证这一问题,本文对英语专业四级模拟试题进行分析。用于分析的试卷来自某出版社出版的2008年英语专业四级考试巅峰训练中的一套模拟题。参加本次考试的学生是华南农业大学珠江学院08级学生,总人数是490人,笔者在自己所教的240个学生中随机抽取了50个学生的考试结果作为本项目的分析对象。试题包括听力理解、阅读理解、语法词汇和写作4个部分。笔者将采用广东外语外贸大学研发的试题分析软件GITEST对听力理解部分(30道选择题)做项目分析,包括难度、区分度、信度和效度等的分析。通过对这些数据的分析解释,希望对教师及学生选择专业四级模拟试题及考试研究组制定专业四级模拟试题有一定的参考和借鉴作用。 　　二、理论依据 　　信度和效度是评估和衡量一套试题的最主要的特征。信度和效度的概念,是随着科学测试的诞生,才被提出来的。这之前的测试根本不管什么信度和效度。到了第二代测试,不但提出这两个概念,还发展了一系列如何保证和计算这两个度的方法,形成关于信度和效度的整套理论实践系统(李筱菊,1997,P44)。 　　1.信度 　　语言测试的信度,指它的结果分数对受试者的表现而言的可靠程度。具体说来,就是代表分数与试题,及试题与受试群的关系(李筱菊,1997,P44)。例如,我们可以这样来检验测试的信度:使用同样一份试卷,在两种不同的场合、环境中,在较短的时间间隔内,施与同样的学生,如果测试结果基本吻合,那么证明该测试是有信度的。一份试卷的测试结果如果缺乏信度,就没有使用价值,同时也减弱了考试的公正性。当然,要完全消除不一致性(inconsistency)也是不可能的,我们能做的是尽量把影响不一致性的不利因素控制在最低程度,以便于提高测试信度。 　　2.效度 　　语言测试的效度,亦称有效性,指测试所考的,是否就是都要考的,或者说,在多大程度上,是为了目的所要考的。效度包括内在效度,外在效度,使用效度和超考试效度。内在效度,指存在于测试本身的效度,包括内容效度和结构效度。前者指的是测试是否考了大纲规定要考的;后者指考试理论原则的效度。外在效度,指利用测试之外的标准,即外在标准验证而得以证实的效度。外在效度主要有同期效度和预测效度两种。使用效度,其实应该称为使用者反应效度。就是说,一个考试是否有效,最后到了使用者手上,还要看使用者的反应。这又可分为表面效度和反应效度。超考试效度指超出考试的目的,说明受试者的目标能力状况的实效效度(李筱菊,1997.48-56)。 　　3.GITES 　　由广东外语外贸大学自主研发的试卷分析软件。 　　三、项目分析 　　为了测试华南农业大学珠江学院08级学生的专业四级考试的大致水平,外国语系于2009年11月10日组织了一次全系规模的四级模拟考试,试卷来自中国和平音像电子出版社出版的2008年英语专业四级考试巅峰训练中的一套模拟题。笔者随机抽取了50个学生的考试结果进行分析。本次分析的是听力理解部分,共有30题,由对话(10题),短文(10题)和新闻(10题)3个部分组成。按照每题1分来算,总共是30分。 　　1.信度及区分度分析 　　从表1可以得出,听力理解部分的信度指数(R11)是0.34,另一信度指数a是0.08,理想的信度指数(R11)是0.9,a是0.8,标准测量误差是±0.28,表明所分析的试题信度不够好。试题平均分是13.38,答对率是44.6%,说明这是一套中等难度的试题。标准差(SD)是2.93,理想的标准差是4.47,试题全距是11,说明这套试题有很好的区分度。偏态值(Sk)是0.520,说明学生分数偏低,峰值(Ku)是-0.240,说明学生分数比较分散。但偏态值和峰值都在±1之内,基本上符合正态分布。 　　2.效度分析 　　效度可以从内容效度,预测效度,同期效度和结构效度等方面进行分析。 　　内容效度验证的依据是大纲,并没有什么公式或者依据证明数据。中国语言测试专家李莜菊指出,即使能证明语言考试的确考了大纲规定要考的,也就说忠实反映了大纲的要求,也无法知道大纲是否忠实地反映了真时生活对语言的要求。也就是说,内容效