翻译测试的评分员信度研究.docVIP

翻译测试的评分员信度研究翻译测试的评分员信度研究本文系国家社科基金项目“本科翻译专业的测试研究”（09CYY005）的阶段性成果，亦得到上海外国语大学首届青年教师科研创新团队项目的资助。本文的撰写得到教育部高等学校外语专业教学指导委员会委员、英语组副组长、上海外国语大学博士生导师邹申教授和邱懋如教授的悉心指导，谨此致谢。 ――TEM8翻译项目评分员问卷调查记略 提 要：对文本翻译测试这样的主观性测试来说，评分员信度是衡量测试质量，确保其公平、公正使用的主要指标。本文在XX年全国TEM8翻译项目评分员问卷调查的基础上，探讨提高翻译测试评分员信度的策略，用调查数据证实评分员对细化评分标准、网上试评（培训评分员）以及使用网上阅卷自查功能的积极反映，并进行对新评分方案的试验性信度验证。 关键词：评分员信度；主观性翻译测试；问卷调查；八级考试 中图分类号：H315.9 文献标识码：A 文章编号：1000-0100(XX年前，相对于听、说、读、写的语言能力考试，翻译测试的研究和实施一直是比较落后的。究其原因大概有以下几点：第一，国际性的标准测试不可能采用翻译形式，因为考生没有共同的母语（刘润清 韩宝成 XX年参考者甚众。然而，大型翻译测试的信度、效度研究明显滞后于测试的实施。虽然我们注意到宋志平（1997）、徐莉娜（1998）、海芳（XX年参加TEM8翻译项目阅卷的评分员进行了问卷调查，并且综合对比了陈怡XX年进行的同类问卷调查结果，希望能够从评分员间信度、评分员内部信度、细化评分标准等几个方面，较为深入地探讨如何提高翻译测试评分员信度这一课题。 2 研究方案 2.1 调查目的 为什么要对TEM8翻译项目阅卷的评分员进行问卷调查呢？第一，TEM8翻译项目评分员研究极有可能对全国翻译教学和测试产生普遍的指导意义，因为TEM8阅卷一贯由全国设有英语专业的各类院校指派相应人员参加，评分员结构基本上能代表国内翻译教学的总体师资情况，而有些大型翻译测试的评分员则局限于某些大城市（如北京、上海）的英语教师，因此不一定具有全国性发言权；第二，TEM8历史悠久，发展成熟，试卷设计和实施本身的信度、效度很有保证，在这种背景下便于开展评分员信度研究；第三，XX年TEM8主观题部分第一次采取网上阅卷①，针对评分员信度的一些系统设置需要检验和反馈。本次问卷的直接目的就是调查今年的网上阅卷对翻译项目评分员信度的提高有什么帮助。 2.2 调查方法 问卷共设计36道题目，其中12道事实性题目旨在了解调查对象的基本背景和教学面貌。其他24道题目则是根据调查目的设计的，既有单项选择题，也有多项选择题和开放式问题。其中16道题目是行为性问题和态度性问题（Dornyei XX年参加TEM8翻译项目阅卷的评分员有一百余位，来自全国一百多所高校，具有相当的代表性，人员平分到英译汉和汉译英两大阅卷组。其中大约70%的评分员在日常教学中担任翻译课程的教学。与往年问卷调查不同,今年笔者对被调查对象进行了专业方向筛选,保证参加本次问卷调查的全部人员是担任翻译教学的教师，因为没有担任过翻译教学的评分员可能对各类翻译测试（包括随堂测试、期中期末测试等）没有充分的感性和理性认识，而担任翻译课程的教师对翻译测试、评估和教学有更加深入、系统的了解，能够提出更为清晰、合理的意见和建议，有助于增强问卷调查的真实性和代表性。 2.4 调查对象的基本情况 按照担任翻译教师的评分员人数，本次调查共发放问卷70份,回收问卷61份,回收率为87%,所回收问卷全部有效。调查对象的基本情况概括如下：（1）男女评分员比例：28比33； （2）年龄：30-49岁的评分员人数是54人，占 85%，其他年龄段15%；（3）职称：所有被调查的评分员均具有中高级职称――教授 9 人，副教授 22人，讲师 30人；（4）学历：研究生学历 49 人（其中7人具有博士学位），占80%，本科学历 12 人，占XX年以内的 29 人，占48%，5年以上的 32人，占52%；（7）参加TEM8翻译项目阅卷的次数：首次参加22人，占36%，两次的21人，占34%，三次及三次以上的18人，占30%。 3 调查结果与讨论 一般地说，文本翻译测试的评分就是评分员采用某一特定评分方法，根据既定的评分标准和评分细则，对被试的翻译水平作出主观判断并赋值的过程。文本翻译测试作为主观性测试，对被试翻译水平的最终评价始终无法摆脱评分员主观判断误差的影响。因此，文本翻译测试的评分问题始终是学术界比较有争议的环节。当然我们知道，增加评分员数量，以各评分员给出的分数求得均值作为被试得分，能够直接解决主观测试的信度问题，但是增加评分员数量会极大地增加阅卷的经济成本和