基于二元分割算法的多变点分析方法在异常作答中的检测研究.pdf

摘要

在测验和测评的过程中，由于考生的作弊、或提前知晓测验内容等异常作答

行为而导致考生能力水平与实际的能力水平不相符，该考生在题目上的作答表现

被称为异常作答。异常作答不仅会影响测评的项目参数估计和考生的能力估计的

准确性，甚至可能对测验的质量以及公平性等都造成重要的影响。因此，对异常

作答的识别和控制具有重要意义。

目前，基于变点分析法(changepointanalysis;CPA)的个人拟合统计量(person-

fitstatistic;PFS)：基于似然比检验的、基于Wald检验的、基于分数检

验的以及基于加权残差的受到广泛关注，因为相较于传统的异常检测

方法，它们不仅能够检测出异常作答数据，而且能够定位发生异常反应的位置，

以最大程度保留考生的作答数据，以减小后续分析给结果带来的精度等方面的损

失。然而，目前基于CPA的PFS的开发都是基于单变点假设下的，即考生在测

验中只发生一种异常行为且只有一个改变点。但是在实际的测验与测评中，尤其

是大规模测验和测评的情况下，例如在国际学生评价项目(PISA)中，由于题目较

多等原因而导致多变点情况时有发生，所以很难保证异常作答数据只满足单变点

的假设，相反考生很可能在测验前期发生热身效应，测验中期发生疲劳效应，测

验后期发觉测验时间不够，又发生加速作答效应。如此一来，考生能力水平在整

个测验过程中可能会发生数次变化。因此，考生的作答序列也会存在多个变点。

二元分割算法(binarysegmentation;BS)是使用最广泛的变点搜索方法，它能通过

多次切割序列数据来遍历序列数据中出现的所有变点，其最独特优势在于可以充

分利用现有的单变点统计量对时间序列数据进行切分，从而将多变点问题转化单

变点问题以进行求解。基于此，本文拟将二元分割算法运用到测验和测评中，以

解决实际测验中的多变点问题。研究分为三子研究。研究一通过模拟研究验证目

前基于CPA的PFS，即、、以及对热身效应也具有较高的统

计检验力，以证明PFS对异常效应的检测具有通用性。研究二则在研究一的基础

I

上，通过添加加速作答模型模拟成测验中的多变点情形，然后检验基于BS的多

变点分析法对多变点的统计检验力。研究三则通过检测初三英语期末考试中考生

的多变点情况，以说明将基于BS的多变点分析法用于实证研究的可行性。通过

三个研究，得出以下结论：(1)基于CPA的PFS能够用于检验考生的热身效应，

其中最好，和次之，检测效果最差；(2)基于BS的多变点分

析法对多变点的侦查具有一定的检测效力，但是检测效果均不是很理想，还需要

在未来的研究中优化该方法。

关键词：多变点问题；变点分析法；个人拟合统计量；异常作答；二元分割算法

II

Abstract

Intheprocessoftestingandassessment,aberrantresponse,causedbycheatingor

priorknowledgeofthetestcontent,canresultinamismatchbetweenexamineeability

andtheirdemonstratedperformanceontestitems.Aberrantresponsenotonlyaffects

theaccuracyofitemparameterestimationandexamineeabilityestimation,butitcan

alsohavesignificant