从定性角度论客观试题效度检验-文档资料.docx

从定性角度论客观试题效度检验 效度是语言测试所涉及的一个根本问题。自其概念于20 效度是语言测试所涉及的一个根本问题。自其概念于 20世 ,五纪 30 年代提出以来 , 效度研究的重点经历了最初的效标定义 十年代至八十年代中期类型的划分 , 发展到当今的整体观 ,五 度是指证据和理论在多大程度上支持考试使用所需的分数解 释”(APA,1999:9)。Linn Gronlund(2000:756) 将该整体观的 特点概括为 : ① 效度并非是对考试本身的评估 , 而是对考试分数 解释和使用的评价 ; ② 效度是一个程度问题 ; ③ 效度是针对特 定的考试群而作出的分数解释 ; ④ 效度是单一整体概念 ; ⑤ 效 度研究需要全面、综合性的评估。 客观试题 （ 特别是多项选择填空题 ） 以阅卷的客观性、 评分的 便捷性 实施的经济性以及抽样量大 覆盖面广等诸多优点备受 人们推崇 , 以致在当今一些权威性的国内外大规模考试 （ 如 TOEFL GRE GMAT TEM CET等）中仍占有相当可观的权重。但 是客观试题在拥有上述优点的同时 , 其效度问题也一直饱受争议 和质疑。 反对者认为 : ① 客观试题所考核的知识 技能抑或能力 不具备语言测试的真实性。他们发现 , 无论是使用词汇 句法结 构等语言形式 , 还是读或听等意思理解 , 人们在现实生活中很少 遭遇到从四或五个选项中进行选择的情形。 至于测试语言表达能 力的作文和口语则更是客观试题所鞭长莫及 ; ② 客观试题容易 受猜测因素的影响 , 以致考试使用者常常很难甚至无法判断某一 分数是否是考生能力的真正体现 ; ③ 客观试题的反拨效应差。 他 们认为客观试题考核的是语言的接受性能力 , 因此该题型主要侧 重提高学生的接受性能力 , 但对语言表达能力的提高帮助不大 同时他们也指出如果某考试长期采用该题型可能会造成学生只 学考试技巧 , 而忽略语言学习这一根本。 针对上述问题① , 笔者认为 , 虽然语言学习的终极目标是语 言的运用 ,但在整个学习的不同阶段 , 语言学习会有不同的要求 , 所以采用何种测量方法或哪一种题型要以教学大纲要求和实际 需求为准绳。 如果教学大纲或实际需求明确规定考试只测量学 生的语言表达能力 , 那么仍然使用客观试题来作为测量工具可能 就有失公允。 但如果教学大纲或实际需求明确规定要考核语言接 受性能力 , 那么使用客观试题来考查学生的该种能力也无可厚 非。 针对问题②和③ , 我们首先需要洞悉隐藏在批评背后的真正 原因。如果客观试题设计得非常科学、非常严谨 , 那么受试单凭 猜测是很难做对四选一或五选一这样的多项选择填空题 , 因此对 整体分数影响无关紧要 (Heaton,1988:25-33), 相应地 , 考生运用 应试技巧也就无从谈起。 但是如果客观试题的设计不够科学和严 谨,出现这样或那样的问题 , 那么考生通过猜测而答对题的比例 有可能大幅上升 , 随之而来的考生热衷于埋头苦练各种应试技巧 也是必然的 , 由此产生的对语言教学的负面影响或许也是灾难性 的。因此在采用客观试题来考查教学大纲或考试大纲所规定的内 容时,保证客观试题命题工作的科学性、 严谨性和专业性 , 从而保 证试题的高效度才是重中之重。唯有如此 , 我们才能保证考试使 用者能够根据考试分数准确地推断考生的语言接受性能力 , 才能 保证客观试题对教学产生积极的、正反拨作用。 目前,尽管部分测量学家和测试专家 (如 Messick, 1989; Bachman, 1990; Kane, 2002 等)根据效度整体观及其特征 , 纷纷 在理论上提出了各自的具体效度检验方法和程序 , 并且也运用这 些方法进行实证研究 , 但是综观国内外大量的效度研究 , 特别是 客观试题效度研究 , 笔者发现两大问题仍然存在 :① 在理论层面 上, 影响分数解释的“构念”无关、 “构念”“污染”、 “构念” 代表性不足、 内容代表性程度和各种证据间关系等问题都没有得 到妥善解决 ; ② 在实证研究方面 , 绝大多数效度研究依然采用单 一证据收集方法 ( 主要是定量研究的相关证据法 correlational approach), 所得结论很难令人信服。即便少数实 证研究采用了多种证据收集方法 , 但也未能说明证据间的关系 , 从而无法体现效度整体观的本质。针对上述问题 , 本文将根据效 度最新定义的内涵和外延 ,着重探讨如何解决这些问题 , 并在此 基础上提出客观试题效度检验的程序和模型。 效度最新定义之本质 APA的效度最新定义包含三个核心内容:分数解释、理论和 证据。分数解释是指分数可以被用来推断和评估考生的语言能力 或用语言做事之能力 ,蕴涵三层含义 :① 每一分数确实是所测量 的语言能力