基于审题过程和考生成绩的学业考试效度检验.pdfVIP

2 期 JuI2013 … [中图分类号]H319 [文献标识码]B [文章编号]2095—1167(2013)03—0008—09 基于审题过程和考生成绩的学业考试效度检验 罗少茜 彭康洲 李 佳 林 杰 提要：本文从审题过程和考生成绩角度来检验学业考试的效度。针对阅读学业考试，采用专家判断法和内省 法收集审题过程中的数据，并使用Rasch模型分析考生成绩的数据。具体而言，阅读课程组 名教师和两名 研究生助教参与本次的定性研究实验。一名教师从阅读课程配套材料中选取了一篇阅读材料及试题 ，另外两 名教师和两名助教独立解答题 目并记录解题思路。采用方便抽样 ，英语专业二年级 75名学生在这篇阅读题 目中的答题记录作为定量研究的数据。实验表明，学业考试能够较好地考核命题人员预期的认知技能，但是 某些题型的考点设计尚有改进的余地。其次，试题的内容效度虽然比较理想 ，但是需要结合学生的实际水平 不断打磨，减少偏易或者偏难的题 目。 关键词：学业考试；审题；答题过程；效度 Abstract：Thispaperreportsonavalidationstudyofreadingachievementtestbased ontestmoderationandtest scores．Tothisend，thedataweregainedbyemployingretrospectiveverbalreportsbymembersofthereadingcourse team andbyconductingaRaschanalysisofexaminees’testscores．Specifically，oneinstructorselectedthereading comprehensionitems，thentwoinstructorsandtwoteachingassistantsrecordedtheirthinking—aloudprocessesindoing theitems．Testrecordsof75sophomoresfrom theDepartmentofEnglishinauniversitywereconvenientlysampledto dotheRaschanalysis．Theresultsshow thatreadingcomprehensioncannotonlyelicittheexpectedreadingopera— tionsandexpectedreadingperformancetoalargeextentbutalsoofferagooddealofevidenceforcontentvalidity．As awhole．thesamplesofitemsandexamineeswerebothreasonablyfitf0rtheRaschmode1．However，certaintesti— ternsneedtobemoderatedsystematically，especially，somevocabularyitemsneedtoberevisedduetotheircontext inelevancetoexaminees’responses． Keywords：achievementtest；testmoderation；test—takingprocesses；validity 1．前言 学业考试 旨在检验教学质量和学生的学业进步 (Bachman1990；Brown1995)。为了实现 考试对于教学检查的有效性，邹 申(2008)建议课程教师在试题命制 中应该加强合作，群策群 力，因为试题开发过程的这种合作不仅有利于监控试题的信度和效度，同时也是对学生负责、 尊重学生的先决条件(TsagariCs6pes2012)。这种考试的有效性应该建立在团队合作的基 础上，在试题设计 、题 目编写、试题细 目表制定、组卷等过程中突出测试的内容效度(Lynch Davidson1994)。测试的内容效度不仅指一项考试考核了应该考核的语言知识、语言技能或者 认知技能，而且还应注重题型的代表性 (Bachman1990：244～247)。对于 内容效度的审核，课 程组教师应该关注试题的预期考查 目标和考生的