汉语水平口试信度的理论与实例研究.pdfVIP

语言教学与研究 2003 年第 4 期 汉语水平口试信度的理论与实证研究 柴 省 三 提要 　本文首先对影响第二语言口试信度的基本维度进行了理论分析 ,然后通过实验设 ( ) 计的方法 ,从评分一致性和准确性两个角度对 HSK 高等 口试评分的信度进行了研究 。实验 ( ) 结果表明: HSK 高等 口试的评分员信度 、组间信度 、历时性信度和分类一致性信度均比较高 ; 评分的准确性和区分度还有提升的空间 ,建议在以后的评分实践中 ,采用口试理论常模来规范 口试评分等级的频数分布 , 以提高评分的准确性 。 关键词 　口语测试 ; 口试评分 ;信度 ;汉语水平考试 引言 语言学习的最终 目的是以语言为媒体进行交际 ,达到或提高书面表达能力和 口头交际能 力 。建立在结构主义语言学基础上的、以多项选择题为主要题型的客观语言测试 ,虽然较好地 解决了大规模语言测试的可行性和评分信度问题 ,但是多项选择题对语言能力的考核毕竟是 间接的 ,考生的回答离不开命题者的语言水平 ,考试成绩反映的是考生与命题者之间语言水平 的差异 ,测试的是考生辨别正确答案的能力 ,而不是考生在实际语言应用中的真实水平 ,尤其 不能直接反映输出性语言技能的高低 ,因此 ,语言测试应该以语言学习者的最终 目的为中心 , 通过对被试语言应用能力 ,特别是对口语表达能力的测试来发挥对语言教学的反拨作用 。 口语测试是对被试口头语言表达能力的考核 ,属于主观型测试 。与客观型语言测试不同 , 除了命题维度以外 ,制约口试信度的维度还有两个 ,一是施测 ,即测试方法 、测试过程和测试程 序能否确保被试将其口语水平尽可能多地表现出来 ,也就是能否保证被试的测验表现或获得 的言语样本是被试真实口语水平的反映;二是评分 ,即对被试的测验表现或言语样本评分的客 观性和一致性问题 。目前 , 国内外关于口语测试信度研究的焦点主要集中在两个方面 ,一是口 语水平的多维度评价问题 ,重点研究评价口语水平的基本维度有哪些 ,不同维度之间的关系如 何 , 以及不同维度在口语水平中所占的权重等 ;二是口试评分的信度问题 ,主要侧重评分方法 、 评分手段的探索和评分效果的研究 。本文将首先对影响口语测试信度的施测维度和评分维度 ( ) 进行理论探讨 ,然后通过实验设计的方法对汉语水平考试 HSK 口试评分的信度进行实证研 究 。 一 　施测维度 ( 无论是主观型考试还是客观型考试 , 都包括命题 、施测和评分三个基本过程 Bachman 1996) 。高质量的考试应该尽可能减少命题 、施测和评分过程引起的误差 ,确保被试的考试结 69 果是考试要测量的语言水平和语言能力的反映 ,否则 ,考试的信度和效度就不高 。在客观型语 言测试中 ,考生是按照统一的程序 ,在同一时间内回答相同的问题 ,答题过程基本不受考试过 程 、考官主观因素的影响 ,施测和评分属于两个相互独立的过程 ,考生作答反应的正确与否完 全由既定的评分标准所决定 ,基本不受评分员主观判断的影响 ,因此 ,在客观型语言测试中 ,试 ( ) 题质量的高低是影响考试信度的主要因素 Alderson1995 ,施测和评分过程不是信度研究的 核心 。而在口语测试中 ,则必须关注施测和评分过程对考试信度的影响 ,因为施测过程和评分 过程将直接影响被试的最终口试得分 。施测维度对口试信度的影响主要体现在施测方法的选 择是否科学 ,测试程序 、考官因素等能否最大限度地保证被试在考试过程中将其真实的口语水 平表现出来 。 口语