大学英语四级协助测试构念效度研究-外语学院二语习得研究平台.DOCVIP

大学英语四级写作测试的构念效度研究基金项目：四川省教育厅重点课题 基金项目：四川省教育厅重点课题：测试评分机制与测试效度（编号：07SB015） 致谢：全国大学英语四、六级考试西南交通大学阅卷中心，以及24位阅卷员的大力支持和帮助。 ——一项基于试题内部结构和评分过程的尝试 摘 要：通过分析评分员的口头报告和评分结果,旨在以评分员的评分反应过程和试题内部结构为证据验证CET4写作测试的构念效度。结果表明: 1)CET4写作测试内部结构主要呈现一个因子；2)CET4写作测试较好地体现了所要测试的构念；3)评分受到了与构念无关的因素影响, 如句子结构、书写和阅卷顺序；4）评分员背景对测试的构念效度有影响。据此提出了影响写作测试构念效度的因素模型和提高写作测试构念效度的一些建议。 关键词：大学英语四级写作；因素分析；评分；构念效度 Abstract: This study, by analyzing raters’ verbal reports and the resultant scores, aims to investigate the test’s construct validity on the basis of assessing process and internal structure of the test item. The results indicate: 1)CET4-writing test obtains one chief factor; 2)CET4-writing test possesses a good construct validity; 3) raters are influenced by variances such as structures of sentences, examinees’ handwriting and scoring order which are irrelevant to construct validity;4)raters’ background affects test’s construct validity. Then, one tentative model and some suggestions are proposed to account for and improve the construct validity of CET4-writing. Key words: CET4-writing; factor analysis; assessment; construct validity 1．引言 构念(construct)指的是待测量的属性或事物，如“语言能力”和“交际能力”等。这些属性或事物是假设的,是我们尚不能完全把握和准确测量的内容。考试的效度在于“所考的是否就是测试设计者想要考察的内容, 或者说, 在多大程度上考了想要考的”(刘润清,韩宝成, 2000: 206)。对于语言能力测试来说,最重要的问题是构念效度，即“测试中的表现与我们根据能力(ability)或构念(construct) 理论所作出的预测在多大程度上相一致”(Bachman,1990:255)。因此,确定考试的构念是测试设计工作的首要环节,也是影响整个考试效度最重要的一环。 本研究将运用构念效度这一语言测试的基础概念，根据相关测试理论，研究大学英语四级考试(CET4)写作测试的构念效度。 2.文献综述 2.1 构念、效度、构念效度的定义 根据《教育和心理测试标准》(APA,1999), 效度证据主要来自五个方面: 试卷内容；反应过程；试题的内部结构；测试分数与其他外部变量之间的关系；测试的后果。其中,反应过程它包括受试答题时和评分员判分时的心理反应过程(邹申,2005)。试题内部结构指试题从“理论上”讲是否具有内部一致性，从“操作上”讲是否都、且只测试了同一构念，有无测试构念以外的东西(Cyril,2005,转引自李清华,2007)。因此,如果我们不确信所用试题是否具有内部一致性，是否只测试同一构念，就无法对测试的结果进行分析；同样，如果我们仅仅知道试题具有内部一致性，而不了解评分员的具体评分过程,就无法对分数做出有效的解释。 建立构念效度需要逻辑分析, 即确定“构念” 的理论定义和操作定义。理论定义是 “构念”的内涵和外延,是在概念层次上确定测试的范围和界限,它为测试的操作提出了假设和基础,将待测试的事物明晰化,形成分范畴。这些范畴实际上是体现该属性或事物的一个个指标。操作定义根据指标确定具体的、可操作的测量方法和程序。它要求我们根据理论定义,明确应该做什么或观察哪些方面,以便揭示拟测的属性。例如“英语写作水平”就是一个构念，其目的是检查考生英语