选项可猜测性评判与控制实证研究.pptVIP

选项可猜测性评判与控制实证研究 上海外国语大学2008级博士生 湖南师范大学外国语学院副教授 ——邓杰 摘 要 命题期间对选项的可猜性进行评判和控制 可猜性专家评判指标 猜测概率计算方法 可猜性控制措施 目的：了降低选项的可猜程度，提高多选题的命题质量。 我国高考英语命题对选项可猜性的控制情况 整体可猜程度（2008年国家卷I与某省卷） 可猜项分布情况（试卷部分和试题类型） 一、问题的提出 多项选择题使用广泛，但又饱受争议，其主要原因之一即是猜测概率高 如何控制选项的可猜测性 如何对选项的可猜测性进行评判？ 从哪些方面对可猜测性进行控制？ 高考英语试题的可猜测情况如何？ 二、相关研究 命题原则研究(Downing Haladyna) 从正面通过强调遵守原则来控制猜测因素，目的是研究如何使选项不可猜以提高测试效度 应试策略研究(Allan, Nevo) 从反面通过分析项目缺陷来揭示猜测因素，目的是研究可猜项对测试效度的负面影响 可猜项的存在， 有损测试效度 致使测试不公 对于本研究的意义在于 为评判指标提供效度证据 为实证研究提供可借鉴的方法 三、实证研究 1.研究假设 1）选项可猜性在命题期间可以得到准确评判和有效控制； 2）我国高考卷对选项可猜性的控制情况不理想，但全国卷要比省卷控制得好。 2.具体研究问题 1）能否建构一套效度较高且可操作性强的专家评判指标？ 2）专家评判是否具有较好的一致性？ 3）高考卷可猜项的比例及分布情况如何？ 4）导致选项可猜的主要因素有哪些？ 5）如何对选项可猜性进行控制？ 3.研究对象 实验试卷选项 共有3套，分别为全国卷I、全国卷II和某省高考卷。其中，全国卷II全部20道阅读题80个选项用于试验实验；全国卷I和某省卷的全部听力和阅读共74道题259个选项用于正式实验。 培训材料选项（见附录B） 均选自我国全国性高风险测试真题，除部分项目是非高考题以外，其他所有项目均为我国2008年的高考真题。 4.评判专家 语言测试方向博士研究生4人，其中高考英语命题人员2人、大学英语四六级考试题库建设的兼职命题人员2人；1人负责指标建构、专家培训和数据分析，另3人负责实验卷的评判工作。 英语语言学和外语教学方向硕士研究生3人，主要负责试验实验阶段的评判工作。 5.研究工具 初始指标：分语言形式、语境意义、相互关系3类共28项 修正指标1：个人试评判后，修正为独立题项特征、前后题关联、选项-题干关联、选项相互关系4类共16项 试点实验I 21名研究生培训(TOTWESL) 高考例题试评(2008各省) 高考试题评判(2008年全国I卷和湖南卷，17份) 修正指标2：选项自身特征和题项相互关系2类共9项(见选项可猜测性评判变量） 指标示例1-限定(Det) From the writer’s experience, we can conclude that _________. A. not everyone enjoys jogging B. he is the only person who hates jogging C. nothing other than jogging can help people keep fit D. jogging makes people feel greater than any other sport 指标示例2-暗示(Clu) 6. Why did the woman go to New York? A. To spend some time with the baby. B. To look after her sister. C. To find a new job. 7. How old was the baby when the woman left for New York? 8. What did the woman like doing most with the baby? 指标示例3-题干关系(Stm) A proper way to release a fish is to ________. A. move it in water till it can swim B. take the hook out of its stomach C. keep it in a bucket for some time D. let it struggle a little in your hand 指标示例4-包含关系(Inc) The underlined sentence in Paragraph 4 indica