笔记及提纲式总结 _ 一种课堂听力测试的开发与效验.pdfVIP

摘要 本文开发并效验了一种结合听时笔记和听后对讲座进行提纲式总结这两项听力任务的 课堂听力测试，希望通过运用该测试更有效且更准确地测量学生听讲座时的理解情况，并促 进课堂听力测试对课堂听力教学的良性反拨作用。 本文共分为六章。前三章介绍新测试的开发过程，后三章讨论该测试的效验结果。 第一章介绍研究背景，指出在课堂听力测试中盲目照搬大规模考试中的多选题和笔记填 空题可能造成的危害。进而提出四个研究问题：(1)如何确保听力测试任务的真实性?(2)如何 解决听力试题的抽样质量和与评卷信度这对矛盾？(3)应从哪些角度收集和解释效度证据， 从而证明或证否测试的既定构想？(4)多选题和笔记填空题为何不适用于测试学术听力？ 第二章为测试开发和分数解释建立系统的理论框架。新测试开发的术语体系以 Bachman(1990)测试开发三步骤为框架展开讨论：(1)定义理论构想；(2)确定具体测试目标； (3)制定评分标准和方法。分数解释则遵循Messick (1980)把构想效度作为总括性的质量指标。 第三章详细阐述了新听力测试的具体开发成果：(1) 目标理论构想是测量受试对所听讲 座的宏观结构和具体例证的听辨和理解能力。(2)具体测试目标是要求受试在听音笔记基础 上，在骨架式提纲表上对讲座进行提纲式总结。开发试题时已对讲座进行语篇分析，确保表 单的结构与讲座的语篇结构保持高度一致。(3)评分标准制定如下：在宏观结构和具体例证 两个层面上对受试表现进行分别计分。骨架提纲上的每一项由“合适词评分法”(Shu 1999) 进行 0,1 计分的客观评分。每个理解层面的得分为受试正确作答的项目个数相对于本层面项 目总数的百分比。必要时，对受试宏观结构得分和具体例证得分取均数作为该考生的总得分。 第四章报告了 7 对 14 组听力测试的准备，施测和数据收集统计。通过介绍受试、实验 工具和听力输入材料，以及详尽的实验步骤和规划，为实验结果讨论进行铺垫。 第五章首先分析前测结果，确认四个班级的受试在实验开始前的听力能力相当。本章从 (1)试卷内容；(2)考分与外部效标之间的相关；(3)受试实际反应过程；(4)试卷内部结构；这 四个主要来源收集分析新测试实测的效度证据，探索该测试是否具备任务真实性以及采取何 种措施保证抽样质量和评卷信度之间的平衡。此外,本章还解读了多选题和笔记填空题的实 测所收集的效度证据，探索这两种测试不适用于测试学术听力的原因和效标污染的来源。 第六章基于第五章对多种效度证据来源的报告，对本文的研究问题做出如下回答：(1) 笔记的真实性在于其减轻听音过程中记忆负担的功能得到了一组实验证实，且是平时生活中 常见的学术听力相伴活动之一。而含有最少量书面提示的骨架提纲表单被实验证实与同能力 控制组的空白页提纲小结的表现没有显著差异，因此骨架式提纲也被证明具有任务真实性。 (2)解决抽样质量和评卷信度之间矛盾的正是对骨架式提纲的分层次、合适词、分离式客观 计分法。通过两个精心设计的副本的隔周实测，得出该测试的复本信度，同时也是两试互为 效标的相关效度，证实骨架提纲表的层级式大纲结构不仅保证了抽样（受试作答）量的代表 性和覆盖面，同时其客观分层的计分方法保证该测试能够取得较高的评卷信度。(3) 本文的 论证过程示例了如何以理论论证、实证实验及结果讨论、试卷内容分析、应试模拟等多种方 式来收集和解释各种效度证据。对多种效验证据的分析和解读都被用于证实“笔记及提纲式 总结”测试有效地测量了学术听力理解的目标构想。(4)导致多选题和笔记填空题不适用于测 学术听力的原因是：(i)抽样应答不真实或质量低；(ii)试题设计给出太多书面提示，引入与 构想无关的变量。这两个因素会招致受试运用应试策略，从而污染这两种考试的效用。 本文以提议教师共同探索促进课堂听力测试与听力教学的良性互动作为结束语。 关键词：听力理解； 笔记及提纲式总结； 构想； 课堂测试； 测试开发； 测试效度验证； 骨架式提纲 Abstract The thesis develops and validates a classroom listening test consisting of two tasks of taking notes w