不同定义平行测验等值群体不变性.docVIP

不同定义平行测验等值群体不变性 　　基金项目： 　　高等学校博士学科点专项科研基金联合资助课题(20103604110002)，国家自然科学基金，江西省高校人文社会科学研究青年基金（XL1003）。? 　　 通讯作者：戴海琦，E-mail：daihaiqi@。 　　摘 要：群体不变性是等值的一个重要假设，即对不同的考生子群体等值函数一致。本研究对不同平行测验定义下线性等值的群体不变性进行了理论分析和模拟研究，模拟研究REMSD指标通过六种不同加权方式计算。结果显示，严格平行测验在信度较低时REMSD指标更大；子群体均值差异和信度差异对REMSD的影响存在明显的交互作用；REMSD指标在期望权重等权下的最大，在分数权重采用子群体比例加权最小。最后对结果进行了讨论，对REMSD权重使用及进一步研究给出了建议。 　　? 　　关键词：等值；群体不变性；平行测验；同质测验 　　? 　　中图分类号：B841.2 　　 文献标识码：A 文章编号：1003-5184(2012)01-0067-05 　　 　　1 引言? 　　等值（Equating）是实现平行测验分数相互比较的重要技术。有些情况下，研究者也需要建立并非严格平行测验的分数对应关系，如一些大型考试的内容进行了更新，此时新旧考试并非平行测验，但不论从实践还是从研究角度都有必要报告新旧考试的分数对应关系，此时称之为链接（Linking）（Kolen，2004）。链接是实现不同测验分数比较的一般形式，当链接的两个测验满足了相同构念、等信度、对称性、公平性、群体不变性等五个条件，即为等值（Dorans Holland，2000）。即，等值是要求更为严格的链接。? 　　近年来，研究者对锚测验代表性、不同等值方法的稳健性进行了大量研究，花费了大量时间和精力收集测验数据以进行等值，但很少有实践者关注等值过程是否真正实现了测验分数可比。Flanagan指出测验的本质是抽样，不同测验在内容上的差异（包括平行测验）使等值或链接对不同群体的敏感性存在差异（Kolen，2004）。所以必须考虑等值函数是否对所有被试唯一确定，若测验间的分数对应关系不因被试所在群体而变化，则称等值的群体不变性（Population Invariance，PI）成立。群体不变性是等值最重要的假设之一，在评估考试分数的公平性时起着重要的作用，在其不成立时使用统一的等值函数对被试而言是不公平的。? 　　第32卷第1期 　　刘铁川等 不同定义平行测验等值的群体不变性 　　 　　心理学探新2012年 　　 　　近年来，在Dorans和Holland（2000）提出了群体不变性的量化评价指标之后，关于等值或链接群体不变性问题的研究才开始大量出现，对一些大型规模考试项目如美国大学预修课程考试（AP；Dorans，2004；Yang，2004；Von Davier Wilson，2008）、学术性向测验（SAT；Yi，Harris， Gao，2008）、法学院入学考试（LSAT；Liu Holland，2008）、大学代数考试（CLEP；Yang Gao,2008）的等值或链接的群体不变性进行了研究。他们所提出的指标称为均方根差异（Root Mean Square Difference，RMSD），比较在不同子群体和整个被试群体上计算出的等值函数的差异，公式如下：? 　　?RMSD(x)=∑jw?j?［e??P?j?(x)－e?P(x)］??2σ??YP??（1）? 　　公式1适用于单组或等组设计下的观察分数等值，也就是说被试群体P中的所有被试来自同一总体；其中，x表示测验形式X的某个分数；?e?P(x)?表示由全部被试数据估计出由X到Y的等值转换关系；?e??P?j?(x)?表示由子群体j的数据所估计出的等值转换关系；分母?σ??YP??是全部被试数据估计出的Y测验的标准差；?w?j?表示对子群体P??j?与全部被试P等值关系差异的权重。?w?j?有两种计算方法，其一是以子群体被试比例作为权重，公式为?N?j/N?，其中?N?j?为第j组被试数量，N为所有被试数量，此时应保证样本数据中的被试比例结构能够代表测验的真实使用情境；其二是进行等量加权。? 　　RMSD(x)是对个别测验分数水平上评价等值的群体不变性，可以对等值差异求期望、再加权、开平方以得到总结性的指标，用来对整个测验等值关系的群体不变性进行整体评价，称为期望均方根差异（Root Expected Mean Square Difference，REMSD）。具体公式如下：? 　　?REMSD=∑jw?j∑??max? (x)??x=?min? (x)?v??xj??［e??P?j?(x)－e?P(x)］