轮机英语评估测试信度和效度分析.docVIP

轮机英语评估测试信度和效度分析 　　摘要：本文针对“轮机英语”听力与会话评估的有效与否，采取了测试学信度和效度的方法进行分析。分析结果表明，评估体现了信度和效度的统一，具有一定的科学性和可操作性，但是也存在明显的不足，需要采取有效的方式进行完善。 　　关键词：“轮机英语”；信度；效度；评估 　　中图分类号：G319文献标识码：A文章编号：1004??8154(2010)06??0124??02 　　第6期甘 露／“轮机英语”评估测试的信度和效度分析 “轮机英语”听力与会话教程是轮机专业学生一门必修的专业基础课，这门课程融合了船舶主机、船舶辅机、船舶管理和海上应急等其他多门学科，学生必须在掌握其他学科的基础上能够熟练地用英语对上述学科在实际操作过程中遇到的问题进行交流。海事局每年专门组织的“轮机英语”听力与会话评估考试就是衡量学生是否掌握相关知识的一个指向仪。本文将重点分析“轮机英语”听力与会话评估题型的信度和效度问题。 　　一、信度（Reliability） 　　信度是指测试结果的可靠性和稳定性，即同一个或相等的两个或多个测试对同一组受试者实施两次或多次，其结果的一致性程度。信度的保证主要靠三个方面来实现：试题的保证，实施的保证和评分的保证。 　　1. 试题的保证 　　“轮机英语”听力与会话评估考试分成听力与会话两部分，各100分。听力考试题共36题，均为选择题，包括单句、对话和短文；会话考试题共12题，包括了朗读、口述和问答，学生要在听懂问题的基础上流利地用英语把答案报出来。会话题题型变化多样，且题目涵盖了有关轮机专业方面的所有的知识，包括公共英语、机舱日常业务、驾机联系、应急用语、对外业务联系和PSC/ISM检查。 　　2. 实施的保证 　　目前，“轮机英语”听力与会话评估考试采取“机考”的方式，题目是随机生成的，每个受试者操作一台电脑完成所有的试题，相邻两个受试者所面对的题目不尽相同。除了监考老师外，还有海事局相关方面人员全程巡考，并且有监控录像随时监控全场考试，这就保证了评估考试的正常实施。 　　3. 评分的保证 　　“轮机英语”听力与会话评估考试分成听力和会话两部分。听力部分选择题为机器阅卷；会话部分全为主观题，受试者在评估时将自己的声音通过录音设备存储起来，评估结束后由评估员回放给分。12道会话题都是随机由不同的评估员根据考生的答案的正确与否，有无突出重点和跑题等情况斟酌给分，总体来说做到了公平、公正，具有一定程度的信度。但是由于题目的内容专业性较强，没有较权威的参考答案，会话题都是依据评估员的专业知识给出的分数，这样就带有了一定的主观性。 　　综上所述，从试题的保证、实施的保证和评分的保证方面“轮机英语”听力与会话评估具有一定的信度。 　　二、效度（Validity） 　　效度是指一次测试所能测出的预定要测量的事物的程度，即指考试达到预期目的的程度。效度能够体现测试的准确性和有效性，它主要包括：内容效度、结构效度、表面效度和反拨效度。 　　1. 内容效度（content validity） 　　内容效度是指测试是否考了考试大纲所规定的要考的内容。人们通常认为内容效度是最重要的。“轮机英语”听力与会话评估的题目全部来自于中国海事服务中心组织编审的《“轮机英语”听力与会话》第三版，包括公共英语、机舱日常业务、驾机联系、应急用语、对外业务联系和PSC/ISM检查，涵盖了轮机专业所有的相关知识，符合考试大纲的规定，具备了内容效度。 　　2. 结构效度（construct validity） 　　结构效度是所有效度之本，没有结构效度，别的效度也站不住脚。“轮机英语”听力与会话评估的目的是要让学生能够用英语和船员之间进行日常生活对话、熟练地表达船舶航行中需要处理的一系列问题，了解船舶各部件的英语解释，顺利地应对船舶可能出现的所有问题。这在专业上是非常必要的。所以从这个角度来说，“轮机英语”听力与会话评估的结构效度很高。 　　3. 表面效度（face validity） 　　表面效度是指考试到了使用者手上，考试的表面形式和内容是否使受试者觉得它是一份有效的考试，一份的确能够反映考生能力的试题。在评估考试中，会话部分的问答题要求受试者先要听清楚问题才能作答。这既考察了受试者的听力，又考察了受试者的口语能力。文秋芳认为，“学生的口头表达能力必须以一定的听力为基础，如果听和说的水平相差甚远，即使有较高的口语能力，在日常交际中也不能得到正常的发挥”。受试者必须掌握相应的专业知识和英语知识，才能通过评估，说明评估具有较高的表面效度。 　　4. 反拨效度（backwash validity） 　　反拨效度是指考试对教学是不是有很好的反拨作用，是否促进教学。“轮机英语”听力与会话评估包含了学生