国家重点实验室评估专家评分偏差效应剖析.docVIP

国家重点实验室评估专家评分偏差效应剖析 　　摘要：在专家评分偏差的若干效应概念基础上，建立了实验室评估专家评分模型；以某学科领域国家重点实验室评估数据，实证地研究了专家评分偏差并提出建立专家信誉档案的若干设想。 　　关键词：国家重点实验室；评估专家；评分偏差；效应分析 　　中图分类号：G311 文献标识码：A 　　 　　1．实验室评估专家评分偏差模型 　　 　　(1)实验室评估专家评分模型。 　　若n位评估专家对m个实验室进行评估，设Y为参评实验室得分矩阵，则Y=(y1，y2，ym)T；设x为专家评分矩阵，则 　　式中，xij为第j个专家对第i个实验室的评分值，y表示n个专家对m个实验室进行评分，得到评分矩阵Y，按照实验室评估专家评分统计方法，实验室最后得分为专家评分的算术平均值，即 　　 　　j为正整数，且　 　　(2)实验室评估专家评分偏差模型。 　　根据实验室评分的实际情况，建立实验室评估专家评分偏差模型 　　 　　式中，　－实验室评分的准确值；y－专家评分值；△－评分偏差， 　　由于实验室评分的准确值无法得知，考虑到实验室评估中“依靠专家”的原则，因此以评估专家对实验室的评分均值　，即　，作为实验室评分准确值的估计值，也可以去掉最高分和最低分之后的平均值作为实验室评分准确值的估计值，即于是　 　　这表示实验室评估专家的评分存在偏差，评分偏差是每个专家的评分值与专家评分平均值的差。 　　由影响专家评估的若干因素分析可知，所有的影响效应都有可能在实验室评估中发挥作用从而产生偏差，有的是普遍性偏好，如同行偏好，除极个别专家外同行偏好产生的偏差是均衡的；有的虽不具有普遍性，但其产生的偏差较大且不均衡，影响到实验室评估的结果，如非共识偏好，为分析专家评分偏差的构成和对实验室评估结果的影响，由同行偏好产生的实验室评估中专家评分的偏差，称作同行偏好偏差，用△3表示，由非共识偏好引发的专家评估偏差称作非共识偏差，用△4表示，显然，非共识偏差是由于对某个实验室的评估没有共识而产生的偏差，有的非共识偏差属于实验室评估中的不公正因素所产生的。 　　此外，由于专家的个性或工作习惯的不同，专家评分可能偏离整体评分的标准，有的专家评分普遍偏高，有的则偏低，此类偏差称作系统偏差，用△1表示，由于实验室评估属于整体模糊判断，专家实际评分并不能够准确地表达其意愿，由此产生的偏差称作偶然偏差，用△2表示，显然，偶然偏差是普遍存在且不可避免的，偶然偏差一般较小，属于正常偏差，服从正态分布，其数学期望是0。 　　由以上分析可以得出：实验室评估中专家总评分偏差由四部分构成：系统偏差(△1)、偶然偏差(△2)、同行偏好偏差(△3)和非共识偏差(△4)，由此建立实验室评估专家评分偏差模型 　　△=△1+△2+△3+△4 　　2．实验室评估专家评分偏差分析 　　(1)实验室评估专家评分偏差分析， 　　实验室评估专家评分偏差分为四类，即系统偏差、偶然偏差、同行偏差和非共识偏差，显然，系统偏差是由专家的个性决定的，在计算专家评分的平均值后，系统偏差并不影响实验室的整体评估结果，此外也可以利用去掉最高分和最低分的办法消除系统偏差。 　　偶然偏差属于正常出现的偏差，根据统计理论，偶然偏差服从正态分布，其数学期望值为零，即 　　E(△2)=0 　　由于专家评分采取百分制，而偶然误差非常小，因此偶然偏差可以忽略不计， 　　同行偏差可以通过统计学方法加以分析，由于同行偏差出现在实验室的小同行评分中，所以同行偏差出现具备两个条件：①只有小同行专家才可能在评分过程中出现同行偏差，根据实验室评估实践，大多数同行偏差是正偏差，即小同行专家评分一般情况下偏高；②该专家在评分中对某个实验室的评分出现异常，明显偏离均值，可见，通过鉴定“身份”和评分异常，即可分析同行偏差， 　　在对实验室评分的分析过程中，应该首先分析同行偏差，通过数学手段去除系统偏差，舍弃偶然偏差，剩下的偏差就是非共识偏差。 　　(2)实验室评估专家评分偏差鉴别。 　　(1)偏差雷达图，由于专家评分偏差非常复杂，一般难以用曲线表示，如果以雷达图表示，可以准确地度量专家的偏差，并且非常直观，根据某学科领域国家重点实验室复评评分数据资料，计算36个实验室评估专家评分偏差矩阵。 　　 　　图1是根据实验室评估专家评分偏差矩阵形成的评估专家16的评分偏差雷达图，圆周刻度表示实验室序号，同心圆表示偏差的大小，半径上标志0的圆周表示偏差为0，与零偏差圆周相比较，正的为正偏差，负的为负偏差，阴影部分为实验室评估专家16评分偏差的折线图，为了便于鉴别，实验室按照小组顺序排列，同一组的实验室序号相邻，其中l～8为第一组，9～15为第二组，16～22为第三组，23～29为第四组，