全国日语专业四_八级测试的信度及效度研究_杨诎人.pdf

全国日语专业四、八级测试的信度及效度研究 杨诎人 1 谭晶华 2 提要: 本文对 2003年全国日语专业四、八级考试的各种答题数据进行了分析, 同时根据答题情况剖析了目前 考生的实际情况, 找出了目前尚存在的不足之处, 对今后如何提高考试信度和效度的问题进行了研究, 提出了 修改考试大纲、完善考试内容等可以切实提高信度和效度的建议。 关键词: 测试; 信度; 效度; 难易度; 区分度 Abstrac t: The present paperm akes an ana ly sis of the answ ers to d iffe rent types of questions in China s G raded Test for JapaneseM a jors 4 8 ( 2003). Based on the studen ts answ ers, the paper ana lyzes how w ell the students m aster Japanese, identifies the ex isting drawbacks of the test, studies how the re liab ility and va lid ity of the test can be im- proved in the future, and puts fo rw ard som e practical suggestions on the rev ision o f the test sy llabus, the pe rfection o f the tests content and the im provem ent of the re liab ility and valid ity of the test. K ey words: test; reliability; valid ity; leve l of d ifficulty; discr im ination 中图分类号: H 319 文献标识码: B 文章编号: 1004- 5112( 2005) 02- 0073- 05 日语专业自 2002年起, 正式启动了大学日语专业四级 (大学本科日语专业二年级水平 ) 和八级 (大学本科日语专业四年级水平 )考试。实施这一考试的目的在于检查日语专业教学 大纲的落实情况,对全国日语专业的所有教学点的教学质量进行全面、客观、公正的评估, 如实 地把握全国各日语专业点的教学情况,考查学生掌握外语能力和知识的现状,便于高校外语专 业教学指导委员会乃至教学行政机关对外语教学的指导和约束, 鞭策和促进各专业点提高教 学质量,保证有限的可利用资源发挥更大的效益,培养出更多更好的外语人才。 但是,假如日语四、八级考试没有一定的信度和效度,也就是说,我们的考试如果不能测出 考生的真实水平,那就无法达到上述目的。为此, 有必要对已经实施了两年多的日语四、八级 考试本身进行评估,对客观评估的数据进行分析研究,找出不足, 并在此基础上研究出一套提 高日语专业四、八级考试的信度和效度的方案,以便客观、公正地测出考生的真实水平,达到检 查日语专业教学大纲落实情况的目的。 用于本研究的原始数据是 2003年日语专业四、八级考试的答卷数据。该数据包括利用光电 阅读机对 2003年的四、八级考试客观试题答卷阅卷后得到的电子数据和对主观题进行人工阅卷 后所得到的主观成绩两种 (八级考试的主观题有作文和翻译两种 )。该卷面成绩数据为 BDF文件。 我们是这样处理 2003年四、八级考试卷面成绩的原始数据的: 首先,将此数据转化为文本文件,然后利用广东外语外贸大学文科基地曾永强教授专门编 写的项目分析软件进行项目分析统计。分析主要为项目分析, 内容包括难易度和区分度分布 表、总成绩统计数据、各大题统计数据、各大题的相关分析,以及所有客观试题各小题的各类分 析数据。 * 73 Foreign Language W orld No. 2 2005 ( General Serial No. 106) * 限于篇幅,本文刊登时对四、八级项目分析及各题相关系数的具体分析从略。 74 外语界 2005年第 2期 (总第 106期 ) 75 Foreign Language W orld No. 2 2005 ( General Serial No. 106) 这道题的答对率为 0. 20和区分度为 - 0. 02的结果,都是命题时所预料到的。因为虽然 高年级教学大纲规定了一定要进行日语古文教学, 但很多院校没有相应的师资, 无法开设这门 课。考生没有受到相应的训练,自然无法作答,因而导致区分度降低是很正常的。因为考试是 一种指挥棒,可以在某种程度上迫