多选题作弊雷同判定标准的常模研究.docVIP

多选题作弊雷同判定标准的常模研究 赵世明张颖 （作者简介：赵世明，博士，卫生部国家医学考试中心研究统计处；张颖，助理研究员， 卫生部国家医学考试屮心研究统计处。北京，100044） 摘要：本文以全国医学博士生英语入学考试和医师资格考试为例，探讨了四选项选择题 和五选项选择题作弊雷同判断标准的常模问题。通过随机抽取无作弊可能的正常考生样本, 推论正常考生总体的平均错同率水平，为四选项和五选项单项选择题建立了作弊雷同的判断 标准常模。当两个考生的双向错同率在统计学意义上显著高于正常考场平均水平，而且具备 作弊的客观条件时，考试机构可以认定其存在作弊行为。研究结果对于无直接证据下的多选 题作弊判定具有参考和应用价值。 关键词：作弊雷同错同率估计 一、问题的提出 以往研究表明，在不存在作弊行为的正常考试情况卜，考场内所有考生之间的平均错同 率水平保持相对稳定M現平均错同率的稳定性不受分数水平、考场规模、选项个数和试题 样本的影响，接近题目选项的随机选择率，四选项选择题的平均错同率接近0.25,五选项选 择题的平均错同率接近0.20。如果两个考生的错同率明显髙于正常考生的平均错同率，我们 有理由怀疑其存在抄袭作弊的嫌疑=错同率是可能判断作弊雷同的有效指标。研究还发现, 较高的单项错同率可能是随机因素造成的，只有双向错同率都较高，才能推断作弊雷同。 所谓错同率是指A考生和B考生都答错且选项相同的题1=1数占各自答错题1=1总数的比 例。A考生和B考生都答错且选项相同的题Id数占A考生答错题日总数的比例称为错同率 A,A考生和B考生都答错且选项相同的题|=|数占B考生答错题目总数的比例称为错同率B0 二考生之间的错同率A和错同率B称为双向错同率。 如果错同率为正态分布的话，判定作弊的依据应该是双向错同率在统计学意义上明显高 于正常考试情况下的平均错同率。错同率达到多少吋我们才可以认为其明显高于正常或平均 水平呢？也就是说，需建立正常考试情况下错同率的平均水平或常模.一般来讲，我们可以 从以下途径建立所谓“正常水平”。一是选择存在作弊嫌疑考生所在的考场；二是随机选择 任一独立考场；三是随机选取常规考场人数的考生；四是随机选取任意数量的考生。首先, 正常考试状态应该排除潜在的作弊可能性n其次，所谓“正常水平”应该是总体正常水平， 而非某个考场的正常水平°再有，常模的应用和解释对象应该是常规考场，尽管有研究已经 证明，非常规考场的平均错同率水平与常规考场并无差异，考生样本量人小对平均鉛同率分 布不构成影响，不同样本量的各组样本平均错同率水平都接近选项的随机选择率。但是考试 情境屮面对更多的是常规考场。因此，我们随机选取常规考场人数的考生样本來估计并建立 错同率的总体平均水平或常模= 二、 研究对象与方法 （一） 研究对象 四选项选择题：（1）试题：2001年全国医学博士生英语入学考试（简称FATMD考试） 的75道四选项单项选择题。（2）被试：采取自编的计算机程序从全体考生中抽取30人，保 证这些考生分布在不同考场（无作弊可能L 五选项选择题：（1）试题：2001年医师资格考试（简称CNMLE考试）临床专业综合 笔试基础科目160道五选项单项选择题。（2）被试：采取自编的计算机程序从全体考生屮抽 取30人，保证这些考生分布在不同考场（无作弊可能）。 （二） 研究方法 错同率的计算：对考生的作答情况进行-两两比较，即每次从考生屮任取2名不同的考生 进行比较，得到相应的错同率。设考生量为m两两比较的次数公式为： 广2 二 n! _ n（n - 1 ） 2!（n-2）f ~ —2— 30名考生两两比较的次数为435次。 随机选取常规考场人数的考生样本来估计并建立平均错同率的总体平均水平或常模，实 际上是由随机样本的平均错同率推论总体的平均错同率。而判定是否存在作弊雷同，需要对 特定考生的错同率与总体平均水平做出比较，并根据错同率这一随机变量的分布规律，做出 统计推断。因此，我们需要解决平均错同率的总体估计和随机样本的错同率分布这两个问题。 三、 结果与讨论 （一）随机样本错同率的分彳|j 可以推断，在随机抽取的正常常规考场屮，错同率是1羽绕平均错同率上下波动的，应该 符合正态分布规律。我们随机抽取的20个常规考场，以0.05为组距统计鉛同率次数分布。 K—S检验表明，所有随机样本的错同率都呈正态分布。以下给出了四选项选择题随机样本 错同率正态分布的K-S检验结果。 表1 20个随机样本错同率正态分布的K—S检验 错同率A错同率 错同率A S*Z P G1 0.6868 0.7331 0.7134 0.6888 G2 0.6336 0.8169 0.8549 0.4579 G3 0.5291 0.9422 0.879() 0.4224 G4 0.690